Интеграция и поиск распределённых данных на основе Semantic Web технологий тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Сысоев, Тимофей Михайлович

• Сысоев, Тимофей Михайлович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Сысоев, Тимофей Михайлович

Введение.

Актуальность исследований.

Цель исследований.

Научная новизна.

Практическая ценность.

Содержание работы.

Общая характеристика.

1 Подходы к интеграции данных.

1.1 Архитегауры интегрирующих систем.

1.2 Построение канонической схемы.

1.3 Обработка запросов.

2 Интеграция данных с помощью онтологий.

2.1 Описание информационных источников.

2.2 Понятия канонической схемы данных.

2.3 Вспомогательная метаинформация.

2.3.1 Индекс.

2.3.2 Описатель коллекции.

2.3.3 Поддержка обмена.

2.3.4 Управляющая информация.

2.4 Операции распределённой информационной системы.

2.4.1 Локальный поиск.

2.4.2 Совместный поиск.

2.4.3 Выгрузка данных.

2.4.4 Загрузка данных.

2.4.5 Индексирование.

2.4.6 Создание описателя.

2.4.7 Оценка запроса по индексу.

2.4.8 Оценка запроса по описателю.

2.5 Реализация операций.

2.5.1 Локальный поиск.

2.5.2 Совместный поиск.

2.5.3 Обмен данными.

2.5.4 Индексирование.

3 Применение разработанных моделей и технологий.

3.1 Применение в ЕНИП.

3.1.1 Статистическая информация.

3.1.2 Поиск.

3.1.3 Распределённый (совместный) поиск.

Введение диссертации (часть автореферата) на тему «Интеграция и поиск распределённых данных на основе Semantic Web технологий»

Актуальность исследований

Вместе с повсеместным распространением сетевых технологий и Интернет значительно упростился доступ к данным, независимо от их физического местоположения. Это позволяет одновременно получить доступ к большому числу источников данных, связанных между собой каким-либо образом, и, с помощью объединения результатов запросов, получить полезную информацию, которая физически не хранится в одном источнике. Этот процесс автоматизируют системы интеграции данных, то есть такие информационные системы, которые предоставляют пользователю доступ к интегрированному представлению информации, содержащейся во множестве источников данных.

Задача интегрирования данных осложняется тем, что источники информации, как правило, являются автономными - они разрабатываются и поддерживаются независимо от приложений, которые могут их использовать. Архитектура таких источников, протоколы коммуникации и производительность определяются их владельцами. Информация в них может быть представлена в различных моделях данных: от реляционной или объектно-ориентированной до слабоструктурированных файлов (HTML/TXT). Источники работают на различных аппаратных платформах, используют различное программное обеспечение, имеют различные интерфейсы доступа (CGI,RMI,CORBA,SOAP).

В последнее время на подходы к интеграции данных большое влияние оказывает инициатива Semantic Web ([34]). В частности, в рамках этой инициативы были предложены формат данных (XML), модель данных (RDF) и стандарты описания схем данных (RDFS,OWL), которые позиционируются как средства обмена информацией, данными, и знаниями с учётом их семантики.

Цель исследований

Целью работы является разработка моделей и технологий создания информационных систем, предназначенных для поиска и интегрирования данных, содержащихся в распределённых неоднородных информационных источниках, с применением технологий Semantic Web. В работе исследованы и решены следующие задачи:

• Исследование и сравнительный анализ существующих подходов и моделей поиска данных и интеграции данных распределённых неоднородных информационных систем.

• Формализация основных операций в распределённой системе (поиск, совместный поиск, обмен).

• Создание моделей выполнения операций и разработка алгоритмов их реализации.

• Разработка технологии построения интегрирующей информационной системы на основе модели данных RDF/RDFS.

• Реализация компонентов информационной системы, соответствующей выбранным моделям, методам и технологиям в виде комплекса программ.

Научная новизна

В диссертационной работе получены следующие новые результаты:

• Разработана схема данных для информации, описывающей и классифицирующей интегрируемые источники данных;

• Произведено формальное описание операций поиска и обмена данными в распределённой информационной системе

• Разработана модель и алгоритмы выполнения указанных операций

Практическая ценность

Практическая ценность данной работы состоит в том, что разработанные модели и алгоритмы позволяют создавать интегрирующие информационные системы, эффективно решающие поставленные перед ними задачи. Предложенные решения были применены на практике в нескольких информационных системах, наиболее масштабной из которой на текущий момент является Единое Научное Информационное Пространство (ЕНИП) -инициатива, направленная на предоставление унифицированного доступа к интегрированной научной информации институтов РАН.

Содержание работы

В первой главе приведен обзор существующих методик построения систем, предоставляющих пользователям интегрированный доступ к данным, хранящимся в различных информационных источниках. Рассмотрены подходы к решению проблем, вызванных автономностью и разнородностью источников.

Во второй главе представляется подход к интеграции данных информационных систем, основанный на использовании онтологий источников данных. Приведены отличия данного подхода от классических методов, описаны используемые модели данных и метаданных, набор операций, и предложены алгоритмы их реализации.

В третьей главе описано применение разработанных решений на практике. Основное внимание уделено инициативе ЕНИП (Единое Научное Информационное Пространство) РАН.

В заключении приводятся основные результаты, полученные в рамках этой работы.

Общая характеристика

Диссертация состоит из введения, трёх глав, заключения, списка

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Сысоев, Тимофей Михайлович

Заключение

Настоящая диссертационная работа посвящена вопросам интеграции и поиска распределённых данных на основе Semantic Web технологий. Основные результаты работы сводятся к следующему:

1. Проведено исследование и сравнительный анализ моделей и подходов к поиску и интеграции данных распределённых информационных систем.

2. Определён и формализован состав операций, связанных со спецификой распределённого поиска и обмена данными.

3. Разработаны модели и соответствующие им алгоритмы выполнения указанных операций; дана оценка их производительности

4. Предложена архитектура информационной системы, предназначенной для поиска и интеграции данных.

5. Разработаны и реализованы информационные компоненты, соответствующей выбранным моделям, методам и технологиям в виде комплекса программ для системы "Единое Научное Пространство РАН"

Список литературы диссертационного исследования кандидат технических наук Сысоев, Тимофей Михайлович, 2007 год

1. Alon Y. Levy. Answering queries using views: A survey.University of Washington, 1999

2. C. Convey, O. Karpenko, N. Tatbul. Data Integration Services., 2001

3. M. Jarke, M. Lenzerini, P. Vassiliadis Y. Vassiliou. Fundamentals of Data Warehouses.Springer Verlag, 2000

4. M. Bonjour, G. Falquet. Concept Bases: A Support to Information Systems Integration.Proceedings of CAiSE94 Conference, Utrecht, 1994

5. S. Navathe, M. Donahoo. Towards Intelligent Integration of Heterogeneous Information Sources.In Proceedings of the 6th International Workshop on Database Re-engineering and Interoperability, 1995

6. A. Y. Levy. Logic-Based Techniques in Data Integration.In J. Minker, editor, Workshop on Logic-Based Artificial Intelligence, Washington, DC, 1999

7. Z. G. Ives, D. Florescu, M. Friedman, A. Y. Levy, D. S. Weld. An Adaptive Query Execution System for Data Integration. In ACM SIGMOD International Conference on Management of Data.Philadelphia, PA, 1999

8. Semantic Web Activity, http://www.w3c.org/2001/sw

9. RDF/XML Syntax Specification (Revised). W3C Working Draft, http://www.w3 .org/TR/rdf-syntax-grammar/

10. RDF Vocabulary Description Language 1.0: RDF Schema. W3C Working Draft, http://www.w3.org/TR/rdf-schema

11. DAML Language, http://www.daml.org/about.html

12. Ontology Inference Layer, http://www.ontoknowledge.com/oil

13. OMG UML Resource Page, http://www.omg.org/uml/

14. Tim Berners-Lee. What the Semantic Web can represent, http://www.w3.org/DesignIssues/RDFnot.html

15. Dublin Core Activity, http://dublincore.org

16. Knowledge Interchange Format, Genesereth M. draft proposed American

17. National Standard NCITS.T2/98-004, http://logic.stanford.edu/kif/dpans.html

18. H.Wache, T. Vogele, U. Visser, H. Stuckenschmidt, G. Schuster, H. Neumann, S. Hubner. Ontology-Based Integration of Information — A Survey of Existing Approaches.Intelligent Systems Group, Center for Computing Technologies, University of Bremen, 2001

19. Fabio Rilston Silva Paim, Jaelson F. B. Castro. Enhancing Data Warehouse Design with the NFR Framework. Valencia, Espanha, 2002

20. Georges Gardarin, Beatrice Finance, Peter Fankhauser. Federating Object-Oriented and Relational Databases: The IRO-DB Experience.Universite de Versailles-StQuentin, 1999

21. Wolfgang Benn, Yangjun Chen, Ingo Gringer. FSM: A Federated System Manager.Technical University of Chemnitz-Zwickau, 1997

22. Huiyong Xiao, Isabel F. Cruz. Integrating and Exchanging XML Data usingOntologies.University of Illinois at Chicago, 2006

23. Mourad Ouazzani, Athman Bouguetaya. Query Processing and Optimization on the Web.Department of Computer Science, Virginia Tech, 2004

24. Jeffrey Douglas Heflin. Towards the semantic web: knowledge representation in a dynamic, distributed environment.University of Maryland, 2001

25. Isabel F. Cruz, Huiyong Xiao. The Role of Ontologies in Data Integration.University of Illinois at Chicago, 2005

26. Francois Goasdou6, Marie-Christine Rousset. Querying DistributedData throughDistributed Ontologies: ASimple but ScalableApproach.Universite Paris-Sud, 2003

27. Heiner Stuckenschmidt. Modularization of Ontologies.Vrije Universiteit Amsterdam, 2003

28. Bernardo Cuenca Grau. Combination and Integration of Ontologies on theSemantic Web., 2005

29. C. Batini, M. Lenzerini. A Comparative Analysis of Methodologies for Database Schema Integration.Dipartimento di Informutica e Sistemistica,

30. University of Rome, Rome, Italy, 1986

31. Jeffrey D. Ullman. Information Integration Using Logical Views.Stanford University, 1997

32. AnHai Doan, Alon Y. Halevy. Semantic Integration Research inthe Database Community: A Brief Survey.American Association for Articial Intelligence, 2004

33. Li Xu, David W. Embley. Combining the Best of Global-as-View and Local-as-Viewfor Data Integration .Brigham Young University,

34. Andrea Cali, Diego Calvanese, Giuseppe De Giacomo, Maurizio Lenzerini. Data Integration under Integrity Constraints.Universita di Roma, 2002

35. Michael Boyd, Sasivimol Kittivoravitkul, Charalambos Lazanitis,Peter Mc. Brien and Nikos Rizopoulos. AutoMed: ABAV Data Integration System forHeterogeneous Data Sources.Dept. of Computing, Imperial College, London, 2004

36. Isabel F. Cruz, Huiyong Xiao, and Feihong Hsu. Peer-to-Peer Semantic Integration ofXML and RDF Data Sources.University of Illinois, Chicago, 2004

37. Sudarshan Murthy. Querying Heterogeneous Mediated Sources: A Survey., 2004

38. S. Bergamachi, S. Castano, A. Ferrara, F. Grandi, F. Guerra, G. Ornetti, M. Vincini. Description of the methodology for the integration of strongly heterogeneous sources, 2002

39. Heiner Stuckenschmidt, Frank van Harmelen. Information Sharing on the Semantic Web, Springer, 2003

40. Yannis E. Ioannidis. Query Optimization. University of Wisconsin, 1996

41. Lachlan M. Mackinnon, David H. Marwick, M. Howard Williams. A Model for Query Decomposition and Answer Construction in Heterogeneous Distributed Database Systems, Journal of Intelligent Information Systems 11, 69-87,1998

42. Jeff Z. Pan and Ian Horrocks. RDFS(FA): Connecting RDF(S) and OWL DL. ISWC2003,2003

43. Budi Yuwono, Dik L. Lee. Search and Ranking Algorithms for Locating Resources on the World Wide Web. The Ohio State University, 1996

44. Brendon Caoon, Kathryn S. McKinley. Perfomance Evaluation of a Distributed Architecture for Information Retrieval. University of Massachusetts, 1996

45. Steve Putz. Using a Relational Database for an Inverted Text Index. Palo Alto Research Center, 1991

46. Gregory Grefenstette, Pasi Tapanainen. What is a word, What is a sentence? Problem of Tokenization. Rank Xerox Reasearch Centre, 1993

47. Luis Gravano. Querying Multiple Document Collections Across The Internet, 1997

48. Norbert Fuhr. A Probabilistic Relational Model for the Integration of IR and Databases. University of Dortmund, Germany, 1993

49. Norbert Fuhr. Models for Integrateed Information Retrieval and Database Systems. University of Dortmund, Germany, 1996

50. O.Frieder, A. Chowdhuiy, D. Grossman, M. C. McCabre. On the Integration of Structured Data and Text: A Review of the SIRE Architecture. Illinois Institute of Technology, 2001

51. Karl Aberer, Philippe Cudre-Mauroux, Manfred Hauswirth. A Framework for Semantic Gossiping. Ecole Polytechnique, 2002

52. Arijit Sengupta. Toward the Union of Databases and Document Management: The Design of DocBase. 1998

53. Jan Jannick, Prasenjit Mitra, Erich Neuhold, Srinivasan Picjai, Rudi Studer, Gio Wiederhold. An Algebra for Semantic Interoperation of Semistructured Data. Stanfor University, 2000

54. Mike Uschold, Michael Gruninger. Ontologies: Principles, Methods and Applications. Knowledge Engineering Review, vol. 11, n.2,1996

55. Ammar Benabdelkader. Information Integration among Heterogeneous and Autonomous Applications, 2002

56. Tanja Sollazzo, Siegfried Handschun, Steffen Staab, Martin Frank. Semantic Web Service Architecture Evolving Web Service Standards toward the Semantic Web, 2001

57. Richard Vdovjak, Geert-Jan Houben. RDF Based Architecture for Semantic Integration of Heterogeneous Information Sources. Eindhoven University of Technology, 2001

58. Sriram Raghavan, Hector Garcia-Molina. Integrationg Diverse Information Management Systems: A Brief Survey. Stanford University, 2001

59. Helena Sofia Pinto, Joao P. Martins. Ontology Integration: How to perform the Process. Instituto Superor Technico, 2000

60. Diego Calvanese, Guiseppe De Giacomo, Maurizio Lenzerini. Ontology of integration and integration of ontologies. Universita di Roma, 2001

61. Alon Y. Levy, Anand Rajaraman, Joann J. Qrdille. Querying Heterogeneous Information Sources Using Source Descriptions. AT&T Laboratories, 1996

62. Philip Hepner. Integrating Heterogeneous Databases: An Overview. Deakin University, 1995

63. Susanne Busse, Ralf-Detlef Kutsche, Ulf Leser, Herbert Weber. Federated Information Systemts: Concepts, Terminology and Architectures.Technische Universitat Berlin, 1999

64. Ismail Khalil Ibrahim, Wieland Schwinger. Data Integration in Digital Libraries: Approaches and Challenges. Software Competence Center Hagenberg, 2000

65. William H. Wilson, Nadine Marcus, Graeme S. Halford. Access to Relational Knowledge: a Comparison of Two Models. University of New South Wales, 2000

66. Yannis Papakonstantinou, Vasilis Vassalos. Architecture and Implementation of an XQuery-based Information Integation Platofrm. University of California,2002

67. Gerd Stumme, Alexander Maedche. Ontology Merging for Federated Ontologies on the Semantic Web. University of Karlsruhe, 2001

68. Steve Easterbrook. Semantic Integration and Inconsistency. University of Toronto, 2004

69. Marco Schorlemmer, Yannis Kalfoglou. On Semantic Interoperability and the Flow of Information. The University of Edinburgh, 2003

70. Michel Klein. Combining and relating ontologies: an analysis of problems and solutions. Vrije Univesiteit, 2000

71. Amarnath Gupta, Bertram Ludascher, Maryann E. Martone. Registering Scientific Information Scources for Semantic Meditaion. University of California 2002

72. Farshad Hakimprour, Andreas Geppert. Resolving Semantic Heterogeneity in Schema Integration: an Ontology Based Approach. University of Zurich, 2001

73. Andrea Cali, Diego Calvanese, Giuseppe De Giacomo, Maurizio Lenzerini. Accessing Data Integration Systems through Conceptual Schemas. Universita di Roma, 2001

74. Jorge E. Lopez de Vergara, Victor A. Villagra, Julio Berrocal. Semantic Managemer: advantages of using an ontology-based management information meta-model. Universidad Politechnica de Madrid, 2003

75. Peter McBrien and Alexandra Poulovassilis. A Formalizsation of Semantic Schema Integration. King's College London, 1998

76. Farshad Hakimprour, Andreas Geppert. Ontologies: an Approach to Resolve Semantic Heterogeneity in Databases. University of Zurich, 2001

77. Catherine Houstis, Christos Nikolaou, Spyros Lalis, Sarantos Kapidakis, Vassilis Chrisophides. Towards a Next Generation of Open Scientific Data Repositories and Services. University of Crete, 1998

78. Santtu Toivonen. Using RDF(S) to provide multiple views into a single ontology. Sonera, Finland, 2001

79. Xiaomeng Su. A Text Categorization Perspective for Ontology Mapping. Norwegian University of Science and Technology, 2003

80. Ioannis G. Papakonstantinou. Query Processing in Heterogeneous Information Sources. 1997

81. Hector Garcia-Molina, Yannis Papakonstantinou, Dalian Quass, Anand Rajaraman, Yehoshua Sagiv,2 Jeffrey Ullman, Vasilis Vassalos, Jennifer Widom. The TSIMMIS Approach to Mediation: Data Models and Languages. Stanford University, 1997

82. Philip Homburg, Leendert van Doom, Maarten van Steen, Andrew S. Tanenbaum, Wiebren de Jonge. An Object Model for Flexible Distributed Systems. Vrije Universiteit, 1995

83. Kemafor Anyanwu, Amit Sheth. The p Operator: Discovering and Ranking Associations on the Semantic Web. University of Georgia, 2001

84. XML Schema 1.1. Part 2: Datatypes. http://www.w3 .org/TR/xmlschemal 1 -2/

85. Sibel Adali, Corey Bufi. A Flexible Architecture for Query Integration and Mapping. Rensselaer Polytechnic Institute, 1998

86. Alexander Steidinger. Comparison of different Collection Fusion Models in Distributed Information Retrieval. Free University of Berlin, 2001