Распределенная информационно-аналитическая система для поддержки исследований в науках о Земле тема диссертации и автореферата по ВАК РФ 05.25.05, кандидат технических наук Шогин, Алексей Николаевич

• Шогин, Алексей Николаевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Шогин, Алексей Николаевич

Введение.

Глава 1. Анализ существующих распределенных геоинформационных систем и стандартов геоданных.

1.1.Краткая история развития геоинформационных систем, стандартов и протоколов.

1.2 Сравнительный анализ существующих отечественных и зарубеэюных распределенных геоинформационных систем.

Глава 2. Исследование и разработка структур представления метаданных и протоколов обмена информацией в распределенной информационно-аналитической системе.

2.1 Существующие стандарты метаданных в геоинформатике.

2.2 Создания структуры представления метаданных для узлов распределенной системы.\.

Глава 3. Система преобразования данных и информационно-поисковая система.

3.1 Система преобразования данных.

3.2 Информационно-поисковая система — общая архитектура.

3.3 Составные компоненты информационно-поисковой системы.

Глава 4. Систематизация и мониторинг глобальных геоданных и создание универсального хранилища.

4.1 Основные мировые хранилища геоданных.

4.2 Разработка методов использования существующих геоданных в распределенной системе.

Глава 5. Исследование и разработка архитектуры распределенной информационно-аналитической системы и методов интеграции и анализа данных.

5.1 Общая архитектура распределенной информационно-аналитической системы\

5.2 Уровни и методы интеграции геоданных для аналитической обработки.

5.3 Возмоэюности системы для подготовки заданий анализа геоданных в ГРИД.

Глава 6. Апробация распределенной информационно-аналитической системы на примерах поддержки решения различных геологических и геофизических задач.

6.1 Модернизация существующей клиентской аналитической ГИС ГеоПроцессор

6.2 Решение фундаментальных и прикладных задач в распределенной системе.

Введение диссертации (часть автореферата) на тему «Распределенная информационно-аналитическая система для поддержки исследований в науках о Земле»

Актуальность работы. В настоящее время информационная составляющая в науках о Земле представляет собой громадный, распределенный в сети Интернет, массив данных самого разнообразного характера и формы представления — метаданные, базы и банки данных, картографические слои разного типа, геоинформационные системы, аналитические и расчетные методы. В связи с этим при выполнении исследований специалист вынужден использовать не только те данные, которые имеются у него, но и элементы всей накопленной информации. Однако реальная разнородность всех указанных данных приводит к тому, что значительную часть времени при исследованиях занимает работа, не связанная с предметной областью - как правило, это поиск информации, методов ее обработки и преобразования данных. Это фактически является задачей в области информационных технологий и ведет к значительному росту трудовых и экономических затрат. В результате в последние годы наблюдается бурный рост систем, позволяющих с помощью сети Интернет частично решить эту задачу. К сожалению, эти системы в настоящее время позволяют исследователю работать либо с визуальным представлением распределенной в сети Интернет глобальной картографической информацией, либо с отдельными комплексными геоинформационными системам регионов (по большей части в США, Канаде и Австралии), либо с поисковыми системами метаданных. При этом, даже наиболее мощные системы не позволяют: а) производить аналитические преобразования геоданных и б) использовать персональные данные и методы пользователя без предварительного размещения их в сети Интернет. Таким образом, любая аналитическая обработка распределенных (в том числе личных) данных, как с помощью геоинформационных систем, так и в ГРИД (GRID - англ. сетка) системах, остаются вне поля действия существующих систем в науках о Земле.

Известно, что для крупных информационных систем характерен явно недостаточный уровень вторичной аналитической обработки данных. В связи с этим актуальным является создание систем, обеспечивающих интеграцию и аналитическую онлайновую обработку информацию из сети Интернет и имеющихся материалов пользователя.

Целью настоящей работы является развитие методов и средств, обеспечивающих максимально эффективное использование информации в сети Интернет, имеющуюся у конкретных разработчиков, ведущих исследования в области наук о Земле. Создаваемая распределенная геоинформационная система должна формировать персонифицированное информационное пространство пользователя, поддерживать интеграцию локальных и распределенных в сети Интернет ресурсов, включая возможность работы с ГРИД системами, а также обеспечивать использование наиболее распространенных форматов данных и существующих геоинформационных систем. Для достижения этой цели были поставлены следующие задачи:

Задачи исследования:

1. Разработка способов унификации представления данных и протоколов обмена метаинформацией о различных типах геоданных.

2. Разработка универсальной настраиваемой системы сбора, анализа, преобразования и поиска документальных данных в распределенной среде.

3. Разработка методов и алгоритмов интеграции геоданных с последующей их аналитической обработкой в геоинформационных и ГРИД системах.

4. Экспериментальная апробация системы на примерах поддержки решения различных геологических и геофизических задач.

Научная новизна работы.

В результате проведенных исследований предложена информационно-аналитическая система, обеспечивающая специалистам в области наук о Земле онлайновую компьютерную поддержку решения фундаментальных и прикладных задач.

Система использует новую двухуровневую схему метаданных, которая позволяет осуществлять гибкую настройку на задачи пользователя и использовать личные данные пользователя без передачи их в сеть Интернет.

Произведенная систематизация, мониторинг и преобразование геоданных позволили создать представительное хранилище глобальной бесплатной информации по наукам о Земле, доступное через одну точку входа в сети Интернет.

Научно-практическое значение.

Созданная распределенная информационно-аналитическая система была опробована для решения ряда экспериментальных задач: прогноз золоторудных месторождений на Камчатке, кластерный анализ геохимических данных на Камчатке с целью выявления возможных аномалий; региональный прогноз нефтегазовых месторождений в Западной Сибири, пространственный прогноз геофизических данных в Центральной Европе, анализ зон возможных очагов землетрясений и оценки ущерба от землетрясений на Северном Кавказе.

При личном участии диссертанта разработаны архитектура распределенной информационно-аналитической системы, структуры представления и протоколы обмена геометаданными в системе, универсальная настраиваемая система преобразования документальных данных, базовая информационно-поисковая система, методы и алгоритмы преобразования, интеграции и анализа геоданных при решении прикладных и фундаментальных задач. По результатам систематизации и мониторинга мировых геоданных в ВИНИТИ РАН и ряде других институтов РАН создано хранилище глобальной географической, геологической и геофизической информации. Реализованы сложные методы аналитической обработки геоданных в специализированной ГИС «Геопроцессор». Созданы методы и алгоритмы взаимодействия распределенной информационно-аналитической системы и ГРИД.

Апробация работы. Основные положения работы опубликованы в [7,8] и докладывались и обсуждались на крупных международных конференциях:

Смирновские чтения - 2007», МГУ, Геологический факультет, Москва, Россия;

International Union for Geophysics and Geodesy (IUGG) XXIV General Assembly», July 2-13, 2007,Perugia, ITALY; Network geoinformation environment for the analysis of spatial and spatio-temporal data //Gitis Valeri, Yuri Arsky, Alexei Shogin, Arkady Weinstock

50-летие Международного геофизического года и Электронный Геофизический год», 16-19 сентября 2007, Суздаль, Россия;

Математические методы распознавания образов - 13», 30 сентября - 6 октября 2007, Ленинградская обл., Россия;

Геоинформационные системы в геологии и науках о Земле», Queretaro, Mexico

2007;

7-я Международная конференция НТИ-2007. Информационное общество. Интеллектуальная обработка информации. Информационные технологии», ВИНИТИ, 2326 октября 2007, Москва, Россия; а также на заседаниях секций РАН и заседаниях Рабочей группы по проекту «Электронная Земля: научные информационные ресурсы и информационно-коммуникационные технологии».

По материалам диссертации опубликовано 14 работ, включая 1 монографию.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы, содержащего 58 источников, 6 приложений. Работа изложена на 150 страницах машинописного текста, иллюстрированного 32 рисунками и 3 таблицами.

Заключение диссертации по теме «Информационные системы и процессы, правовые аспекты информатики», Шогин, Алексей Николаевич

Выводы: Вышеприведенный анализ существующих локальных и распределенных ГИС-систем и стандартов представления геоданных еще раз подтверждает вывод, сделанный во введении, о предельной актуальности систем, обеспечивающих специалистов полной информационной и, главное, аналитической поддержкой в распределенном поле ресурсов, и в частности, ресурсов по наукам о Земле.

Глава 2. Исследование и разработка структур представления метаданных и протоколов обмена информацией в распределенной информационно-аналитической системе.

2.1 Существующие стандарты метаданных в геоинформатике

Одной из основных информационных компонент любой геоинформационной системы, в том числе и распределенной, является база метаданных, которая обеспечивает поиск и извлечение как документальной, так и цифровой информации.

На сегодняшний день наиболее перспективным и общеупотребительным набором элементов для создания метаданных (не только в геоинформатике) является набор, создаваемый уже в течение нескольких лет международной группой «The Dublin Core initiative»(hUp://dublincore.org/). Этот набор называется «Dublin Core Metadata Element» (DC) и состоит из 15 элементов. Компактность и гибкость формата DC позволяет использовать его для описания ресурсов в системах различной степени сложности — от простых систем, предоставляющих пользователю минимальный набор атрибутов, описывающих ресурс (например, название публикации, авторов и год издания), до сложных, хранящих данные о различных аспектах создания и существования ресурса. Подавляющее число стандартов метаданных принятых и разрабатываемых в настоящее время в той или иной степени используют DC.

Поскольку исторически первыми были ГИС, созданные в США, то и разработки в области стандартизации метаданных в геоинформатики начались там же. В результате широких дискуссий среди специалистов в области наук о Земле в 1994 году был принят и 1998 году обновлен Content Standard for Digital Geospatial Metadata (Стандарт содержания метаданных цифровой геопространственной информации). Инициатором данного стандарта был Федеральный комитет США по географическим данным (FGDC: http://www.fgdc.gov/ ), поэтому данный стандарт и называется чаще всего FGDC. Данный стандарт применяется в Канаде и Великобритании через национальную инфраструктуру географических данных (NGDF, в настоящее время AGI), а также используется в поисковых системах ЮАР, в сетях обмена данными в Латинской Америке и в Азии. Общее количество примитивных и составных элементов - 324, большая часть из которых представляют фактографическую информацию - около 300.

В Европе аналогичный стандарт разрабатывался с 1991 до 1998 год, в котором была принята только предварительная его версия. Официальное его название «ENV 12657:1998 Géographie information - Data description — Metadata», но чаще всего его называют просто CEN (European Committee for Standardization). Функционально данный стандарт эквивалентен стандарту FGDC, однако существует ряд различий в отдельных элементах. Подкомитет ТС 287 возобновил свою работу в 2003 году для разработки европейских вариантов стандартов ISO ТС 211. Ряд национальных и региональных инициатив был также посвящен созданию стандартов метаданных. К их числу относятся проект для Австралии и Новой Зеландией под эгидой межправительственного совета ANZLIC и два уже завершенных проекта (LaClef и ESMI), которые финансировались европейским сообществом, и результаты которых уже используются в проекте INSPIRE. Во всех этих проектах применялись аналогичные подходы к определению необходимого состава метаданных, призванных обеспечить, как минимум, повысить уровень информирования о наличии и доступности ресурсов геопространственных данных. Особенностью же их явилось стремление минимизировать и упростить процедуру генерации метаданных.

Естественно, ISO (International Standard Organization) не осталась в стороне от усилий США и ЕС в разработке стандартов метаданных в науках о Земле и, как результат, в 2003 году был принят международный стандарт ISO-19115 и проект стандарта ISO-19119. Эти стандарты создавались на основе мнений и предложений от национальных агентств и опыта использования ими различных стандартов метаданных и программ для создания метаданных. В них учитываются большинство различных уже действующих стандартов. ISO 19115 содержит описание только логической модели организации геопространственных метаданных. Проект ISO 19139 стандартизирует физическую структуру метаданных стандарта ISO 19115 и логическую модель UML по стандарту ISO 19115.

Метаданные также являются важной частью технических требований, разрабатываемых консорциумом OpenGIS, который тесно сотрудничает для этого и с FGDC и с CEN. Для проекта "OpenGIS Abstract Specification" этого консорциума частично принят стандарт ISO 19115 в качестве абстрактной модели управления метаданными.

Все разработки в области стандартизации в конечном итоге направлены на использование метаданных для поиска нужной информации. Другими словами, они должны давать возможность установить, насколько найденные данные отвечают требованиям задачи, которую пользователь должен решать, и содержат ли они ссылки на другие, более детальные информационные ресурсы, т.к. часто встречаются ситуации, когда после обнаружения нужного информационного ресурса выясняется, что необходимы более подробные метаданные.

Все основные принципы были разработаны с учетом важности максимально информативных метаданных, необходимых для общей организации данных, - поэтому практически все организации заинтересованы в принятии стандартов ISO для метаданных.

Несмотря на то, что все три принятых стандарта функционально эквивалентны, между ними существует ряд принципиальных различий.

1. Стандарты ISO и CEN формализованы в гораздо большей степени, чем FGDC; это означает, в частности, наличие формальных UML (Universal Modeling Language) описаний для них. С точки зрения создания приложений для манипулирования данными это является безусловным плюсом, но для создателя метаописаний в этой ситуации требуется создание сложных приложений для их ввода и верификации. Проще выражаясь, стандарт FGDC гораздо более понятен для неспециалиста в области информационных технологий, чем ISO и CEN. Это является основной причиной, по которой количество метаданных в стандарте FGDC на порядок превышает количество метаданных в конкурирующих стандартах.

2. Наличие типизации (классификации) ресурса является обязательным для стандарта ISO и не является таковым для конкурирующих стандартов. Если быть более точным, то FGDC все же предполагает обязательное наличие типизации по тезаурусу, но использование такой типизации в задачах вторичной аналитической обработки метаданных представляется сомнительным.

3. Существенно отличаются и ссылочные элементы метаданных: если для стандарта CEN они в большинстве необязательные и представляют собой произвольный текст (free text), то для FGDC и ISO большинство этих полей обязательно и жестко структурировано.

В заключение приведем таблицу, показывающую обязательность некоторых содержательных элементов данных (в том числе входящих в Dublin Core) в описанных стандартах (табл. 2.1):

Заключение

1. На базе разработанных протоколов обмена и структур представления метаинформации обеспечивается использование разнородных геоданных, использование аналитических методов и ГИС-систем для поддержки решения ряда фундаментальных и прикладных задач в области наук о Земле. В рамках формируемого информационного поля создано представительное хранилище глобальных геоданных, обеспечивающее базовую картографическую основу конкретных геоинформационных проектов с возможностям ее аналитической обработки.

2. Разработан и реализован информационно-поисковый комплекс, включающий в себе подсистему преобразования данных и информационно-поисковую систему с многоаспектной поддержкой больших документальных массивов информации, с полноценным контекстным поиском и поддержкой морфологии русского языка.

3. Разработаны методы и алгоритмы интеграции преобразования геоданных для целей их аналитической обработки. Основные принципы и методы интеграции разнородных геоданных и их аналитической обработки позволяют построить реальный мост между профильными специалистами и современными ГИС и ГРИД технологиями.

4. Создана распределенная информационно-аналитическая система по наукам о Земле, дающая мощную поддержку ученым и специалистам в решении фундаментальных и прикладных задач.

5. Опытным путем показана эффективность системы на примерах поддержки решения экспериментальных фундаментальных и прикладных геологических и геофизических задач.

Список литературы диссертационного исследования кандидат технических наук Шогин, Алексей Николаевич, 2008 год

1. Арский Ю.М., Гитис В.Г., Шогин А.Н. Электронная Земля сетевая среда поиска, интеграции и анализа геоданных. "Смирновские чтения - 2007", МГУ, геологический факультет. М., 2007.

2. Арский Ю.М., Леонтьева Т.М., Никольская И.Ю., Шогин А.Н. Банк данных ВИНИТИ: Состояние и перспективы развития. М.: ВИНИТИ, 2006. - 242с.

3. Арский Ю.М., Леонтьева Т.М., Шогин А.Н. WWW сервер ВИНИТИ задачи и направления развития. //НТИ. Сер. 1. - М., ВИНИТИ, 1998 - № 1 - С.16-19.

4. Арский Ю.М., Леонтьева Т.М., Шогин А.Н. Создание инфраструктуры многоуровневой интеграции разнородных данных. //НТИ. Сер. 2. М., ВИНИТИ, 1997.-№ 2-С. 18-20

5. Беляков С. Л. Распределение функций между клиентом и сервером ГИС Системы и средства информат. 2004, N 14, с. 131-143, 364, 4 ил. Библ. 5. Рус.

6. Веселовский А. В., Микляев В. И. Национальная информационная система по особо охраняемым природным территориям России Использ. и охрана природ, ресурсов России. Бюл. 2000, N 7, с. 67-72. Библ. 6. Рус.

7. Гитис В.Г., Ермаков Б.В. Основы пространственно-временного прогнозирования в геоинформатике // М., ФИЗМАТЛИТ, 2004. 256 С.

8. Гитис В. Г., Шогин А. Н. Сетевая геоинформационная технология комплексного анализа и прогнозирования. "Математические методы распознавания образов 13". - Ленинградская обл. - 30 сентября-6 октября 2007

9. Егоров B.C., Леонтьева Т.М., Шогин А.Н. База данных ВИНИТИ и ее использование в сети Internet и на CD. //НТИ-2002: 6-я Международная конференция, посвященная 50-летию ВИНИТИ. "Информационное общество.

10. Интеллектуальная обработка информации. Информационные технологии". М.: ВИНИТИ, 16-18 октября 2002. - С. 129-130.

11. Зализняк A.A. Грамматический словарь русского языка. М.: Русский язык, 1980

12. Левин Б. А., Коугия В. А., Матвеев С. И. Геоинформационная система на железной дороге Геодезисть. 2002, N 1, с. 8-11. Рус.

13. Леонтьева Т.М., Рудикова A.B., Шогин А.Н. О новых услугах для пользователей Банка данных ВИНИТИ и средства их реализации. //НТИ. Сер. 1. М., ВИНИТИ, 2005. - № 2,- С. 24-29.

14. Леонтьева Т.М., Шогин А.Н,. Банк данных ВИНИТИ сегодня и завтра. НТИ-2000: 5-я Международная конференция "Информационное общество. Информационные ресурсы и технологии. Телекоммуникации". Тез. Докладов, М: ВИНИТИ, 22-24 ноября 2000. - С. 208-210.

15. Морозов А. Ф., Межеловский Н. В., Килипко В. А. Концепция и основные направления стратегии развития информационного обеспечения деятельности Роснедра Разведка и охрана недр. 2006, N 1, с. 22-30. Рус.

16. Прохоров A.A., Андрюсенко В.В., Веретенникова Ю.В., Дерусова О.В., Обухова Е.Л., Шредере М.А. Аналитические возможности информационно-аналитической системы по коллекционным фондам ботанических садов Hortus bot. 2005, N 2, с. 65-79. Рус.; рез. англ.

17. Пястунович О. Л. Интеграция геоинформационных систем и Интернет-технологий Сборник трудов Научной сессии ИУУ СО РАН (молодежная секция), Кемерово, 2006. Кемерово: ИУУ СО РАН. 2006, с. 70-73, 2 ил. Рус.

18. Цыганов В. А. ( ГНПП "Аэрогеофизика" ) Вопросы надежности компьютерного обеспечения геолого-поисковых систем: Постановка проблемы Инф. бюл. ГИС-Ассоц. 2000, N 1, с. 30-31, 1. Библ. 3. Рус.

19. Чесалов Jl. Е., Блискавицкий А. А., Аракчеев Д. Б. Информационно-аналитическое обеспечение рационального природопользования М.: Изд-во ВНИИГеосистем. 2005, 184 е., ил. Библ. 125. Рус.

20. Шогин А.Н. Сетевые интеллектуальные геоинформационные системы. //7-я Международная конференция НТИ-2007. "Информационное общество. Интеллектуальная обработка информации. Информационные технологии". Тез. докладов, М., ВИНИТИ, 23-26 октября 2007.

21. Bonnici A., Web GIS Software Comparison Framework,. Draft, 25 October 2005, http://www.webGisdev.com/webgisframework.pdf

22. Gong Jianya Проектирование и создание Интернет-ГИС. Design and implementation of an Internet GIS Diqiu kongjian xinxi kexue xuebao=Geo-spat. Inf. Sei. 2001. 4, N 2, с. 1-7, 5. Библ. 22. Англ.

23. Goodchild Michael F. Картографическое будущее Цифровой Земли. Cartographic futures on a Digital Earth 19th Int. Cartogr. Conf. and 11th Gen. Assem. ICA, Ottawa, 1999: Proc. Vol. 1. Touch the Past. Visualize the Future. Ottawa. 1999, c. 5-13. Англ.

24. Muller Dominik Исследования результатов, полученных по измерениям EGNOS в ходе испытаний. Untersuchungen zu EGNOS Ergebnisse von Messungen wahrend der Testphase Allg. Vermess.-Nachr. 2005. 112, N 5, c. 177-181. Нем.; рез. англ.

25. Stoimenov Leonid, Dordevic-Kajan Slobodanka Подход к семантической организации взаимодействия в ГИС. Framework for semantic GIS interoperability Facta Univ. Ser. Math, and Inf. Univ. Nis. 2002, N 17, c. 107-125. Библ. 33. Англ.

26. Sumrada Rados (University of Ljublyana, Slovenia) Среда. распределенных приложений для ГИС. Towards distributed application of GIS technology GIM Int. 2002. 16, N 7, c. 40-41, 43, 4 ил. Англ.

27. Trifunac, M.D. and Brady, A.G. On the correlation of seismic intensity with peaks of recorded strong ground motion//Bull. Seismol. Soc. Amer., 65. 1975. 139-162.

28. Van de Crommert P., Langelaan F., Van Winden J. (Geodan IT, the Netherlands) Веб-сервисы OGC в действии. OGC web services in action Ned. Commiss. Geod. (NCG).Publ.. 2004, N 42, c. 67-80, 8 ил. Библ. 9. Англ.

29. Willkomm Philipp Взаимодействие географических информационных систем на основе Web-служб OpenGIS. Interoperabilität auf der Basis von OpenGIS-Web-Services Allg. Vermess.-Nachr. 2004. 111, N 7, c. 259-263. Нем.

30. Xu Zhu, Lee Y. С. Интеграция данных и способность к семантическому взаимодействию. Сетевая ГИС. Geodata integration and semantic interoperability. Network-enabling GIS GIM Int. 2002. 16, N 11, c. 35-37. Англ.

31. Yuryi Arskyi, Valery Gitis, Alexei Shogin. Distributed Geoinformation Environment For Data Exploration In Earth Sciences. "Геоинформационные системы в геологии и науках о Земле", Queretaro, Mexico, 2007.

32. Zhou Guo-yi Обсуждение распределенных ГИС Cehui kexue=Sci. Surv. and Mapping. 2003. 28, N 3, c. 43-45, iii, 2 ил. Библ. 6. Кит.; рез. англ.