Разработка моделей и методов построения и автоматизированного наполнения системы метаданных тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Бутенко, Игорь Всеволодович

• Бутенко, Игорь Всеволодович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Бутенко, Игорь Всеволодович

Оглавление.

Список используемых сокращений.

Введение.

1 Метаданные в информационных аналитических системах.

1.1 ИАС как средство обработки больших объемов данных.

1.1.1 Хранилища данных.

1.1.2 Федеративные системы.

1.2 Способы построения ИАС.

1.2.1 Системная интеграция.

1.2.2 Перенос данных.

1.2.3 Метаданные.

1.3 Использование метаданных в ИАС.

1.3.1 Операционные системы.

1.3.2 Метаданные в аналитических системах.

1.3.3 Системы будущего.

1.3.4 Средства работы с метаданными.

1.4 Способы повышения качества хранимой информации в ИАС.

1.4.1 Стандартизация и интероперабельность.

1.4.2 История стандартизации метаданных.

1.4.3 Международные проекты и инициативы в области моделей и схем метаданных.

1.5 Требования к метасистеме.

1.6 Обзор существующих метасистем.

1.6.1 Критерии сравнения метасистем.

1.6.2 Сравнение метасистем.

1.7 Постановка задачи.

2 Модели описания объектов метасистемы.

2.1 Формирование требований к разработке.

2.1.1 Введение.

2.1.2 Общий вид взаимодействия в рамках метасистемы.

2.1.3 Подхо/цл к построению рспозитория метаданных.

2.1.4 Выбор мстамодели.

2.1.5 Определение архитектуры высокого уровня.

2.1.6 11остроение базы метасистемы.

2.1.7 Добыча данных.

2.1.8 Этапы построения МС.

2.2 Модель описания объектов исходной базы данных.

2.2.1 Представление объекта.

2.2.2 Параметры объекта.

2.2.3 Описание объекта.

2.3 Модель описания классификаторов.

2.3.1 Определение.

2.3.2 Поддержка многоуровневое™.

2.4 Построение базы данных метасистемы.

2.4.1 Конкретизация свойств объектов.

2.4.2 Построение базы данных.

2.4.3 Поддержка версионности данных.

2.4.4 Выбор варианта хранения объектов в метасистеме.

2.4.5 Структура базы данных описания объектов.

2.4.6 Схема базы данных метасистемы.

3 Инструментальная поддержка основных этапов построения метасистемы.

3.1 Наполнение данных метасистемы.

3.1.1 Модель загрузки данных в метасистему.

3.1.2 Закачка данных в метасистему.

3.1.3 Особенности загрузки.

3.1.4 Выбор способа загрузки данных.

3.1.5 Алгоритм наполнения данных метасистемы.

3.2 Построение дерева классификаторов.

3.2.1 Выбор способа описания пользовательских классификаторов.

3.2.2 Описание классификаторов.

3.3 Организационные мероприятия.

3.3.1 Подготовка исходной информации для загрузки.1 Об

3.3.2 Введение пользовательских типов.

3.4 Методика построения МС.

3.5 Выводы по

главам 2иЗ.

4 Реализация и примеры использования.

4.1 Реализация МС.

4.1.1 Выбор средств реализации.

4.2 Примеры использования МС.

4.2.1 Задача анализа работы уборочной техники.

4.2.2 Решение задачи с использованием МС.

4.2.3 Создание пользовательского интерфейса.

4.2.4 Загрузка данных в ОЬАР-куб.

4.2.5 Задачи построения аналитической подсистемы для коммерческого банка.

4.3 Характеристика решаемых задач.

4.4 Оценка результатов.

4.5 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка моделей и методов построения и автоматизированного наполнения системы метаданных»

В современных информационных системах накоплено большое количество данных и извлечение нужной информации часто связано с недопустимыми затратами времени и средств. Для того чтобы добыть информацию, необходимо знать какие именно данные уже есть, где они находятся и как могут быть получены.

В связи с этим при создании новых информационных систем разработчики используют аппарат, базирующийся на метаданных (МД). Он предоставляет возможности описания и манипулирования метаданными в рамках либо общей модели CWM (Common Warehouse Metamodel), сформированной группой OMG (Object Management Group), либо модели конкретной метасистемы (МС).

Этим вопросам посвящены многочисленные работы ученых как в пашей стране, так и за рубежом (Д. Марко, А. Тагшенбаум, Р. Кимбалл, R. Инмон), а также такие программные продукты как Oracle Data Integrator , IBM Information Server, SAP BusinessObjccts Metadata Manager, CA ERwin Saphir Option, SAS® Metadata Server.

Однако в настоящее время существует большое количество информационных систем, в которых отсутствует описание МД, используемых в системе, либо такие данные не являются полными. Такие системы или развиваются с большим трудом (очень большие вложения при минимальных результатах) или не развиваются вовсе, поскольку отсутствует информация не только о том, что, где и как хранится, но и по каким алгоритмам работает. Часто судьба таких систем - это медленное умирание. Рядом с ними строятся хранилища данных, которые не достраиваются в силу той же проблемы.

Особую потребность в МД испытывают быстро меняющиеся информационные системы. Например, такими системами являются банковские системы, системы бухгалтерского учета, аналитические системы.

Выходом из создавшегося положения является построение МС на основе уже существующих информационных систем. Она должна позволять сформировать общее информационное пространство и обеспечивать дальнейшее развитие системы. Это, в свою очередь, требует разработки сопутствующих методов, алгори тмов и программного обеспечения.

Целыо настоящей работы является разработка методики, алгоритмического и программного обеспечения поддержки этапов разработки информационной аналитической системы на базе аппарата метаданных.

Для достижения поставленной цели в работе ставились и решались основные задачи:

1. Разработать методику построения МС на основе существующих информационных систем.

2. Для ее реализации предложить модели описания МД и классификаторов.

3. Создать алгоритмы наполнения МС данными и классификации этих данных.

4. Реализовать на практике МС для решения реальных задач.

Практическую ценность в работе представляют:

1. Разработанная методика построения МС, модели описания МД и классификаторов носят формализованный характер и могут быть использованы при построении различных базах данных МС.

2. Предложенные алгоритмы могут быть использованы при построении модуля загрузки и классификации данных в различных прикладных задачах.

3. Реализованная МС может быть использована для решения широкого круга прикладных задан.

В частности, построенная МС была включена в коммерческие программные продукты:

• «СКЛУТ-Навигатор» в качестве средства поддержки формирования различных отчетов,

• «СКЛУТ-УКОИ» в качестве средства построения многомерных ОЬАР-отчетов.

Самостоятельную практическую ценность представляют отдельные фрагменты созданной

МС, в частности:

• база данных МС,

• модуль выгрузки МД из исходных систем.

15 данной работе выносятся на защиту следующие положения:

1. Методика построения МС на основе существующих 80Ь-ориентироваппых информационных систем.

2. Формализованные модели описания МД и классификаторов МД.

3. Алгоритм наполнения МС данными из внешних источников на основе предложенной модели.

4. Расширяемая база данных МС, основанная на описанных моделях.

5. Модуль выгрузки МД из исходных информационных систем.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Бутенко, Игорь Всеволодович

4.5 Выводы

Отмстим основные результаты главы 4.

• Описаны шаги реализации МС по уже готовой структуре БД МС и описанному алгоритму наполнения данных.

• Сформулирован общий вид решаемых МС задач.

• Рассмотрены примеры реальных задач из различных предметных областей, которые были решены с использованием инструментария МС.

• Описан алгоритм оценки эффективности предложенной методики построения МС.

Заключение

11сречисл1Ш основные результаты работы:

1. Предложена последовательность шагов, которая позволяет построить МС на основании уже существующей системы. В процессе рассмотрения каждого из шагов данная последовательность была сформулирована в виде методики построения МС.

2. Предложены формальные модели описания объектов МС и классификаторов.

3. Па основе предложенной модели сформулированы и обоснованы критерии построения БД МС. Предложена структура БД МС.

4. Выбран способ наполнения данными МС и предложен универсальный алгоритм такого наполнения.

5. Описан механизм работы с пользовательскими классификаторами в рамках МС.

6. Определены организационные мероприятия, облегчающие использование МС.

7. Описаны шаги реализации МС по уже готовой структуре БД МС и описанному алгоритму наполнения данных.

X. Сформулирован общий вид решаемых МС задач, а также рассмотрены примеры реальных задач из различных предметных областей, которые были решены с использованием инструментария МС.

Также в результате работы был программно реализован механизм загрузки данных, коюрый может' быть использован отдельно от разработанной в рамках работы метасистемы.

Список литературы диссертационного исследования кандидат технических наук Бутенко, Игорь Всеволодович, 2011 год

1. Архиттснков С., Голубев Д., Максимепко О. Хранилища /данных. Or общей концепции до внедрения /1 Год общ. ред. С.Я. Лрхипенкова. М.: ДИАЛОГ-МИФИ, 2002. - 528 с.

2. Баргесян A.A., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP. 2-е изд. иерераб. и доп. - СПб.: БХВ-ГГегербург, 2007. - 384 е.: ил. I- CD-ROM.

3. Белова M С., Крюков А.Ф., Мещанинов Д.Г. Онтологическая классификация документов. // BC7NW. 2006. №2 (9) // http://network-iournal.mDci.ac.ru/cgi-bin'mnin.pl'.'l ni&n---9&ра= 12&ai~ 1

4. Бергер А.Б. Горбач И.В., Мсломед ЭЛ., Щербинин В.А. Степаненко В.П. / под общ. ред. Бергер А.Б., Горбач И.В. Microsoft SQL Server 2005 Analysis Services. OL.АР и многомерный анализ данных. СПб.: БХВ-Пстсрбург, 2007. - 928 е.: ил. - в подлиннике.

5. Богородицкая И. Системная интеграция под прицелом // http: //wwv» .inik s.ru/search/2535 K02.html

6. Большой энциклопедический словарь M: Советская энциклопедия, 1991.

7. Брптов П.А., Линчинский Е.А. Практика построения хранилищ данных: SAS System. // Kopiiopaiивиые системы. 1999. № 3.

8. Бутепко И.В. Метасистема как инструмент для построения аналитических отчетов в информационных системах //Научно-технические ведомости СПбГПУ. СПб.: СПбГГТУ, 201 1, №2 (120). с. 32-38.

9. Бутепко И.В. Принципы построения метаданных при разработке аналитической системы. Н Технологии Microsoft в теории и практике программирования. СПб.: нзд-во Политехи, ун-та, 2004. с. 14-15.

10. Бугенко И.В., Зоюв A.A. Архитектура построения автоматизированной банковской системы /тля многофилиальттого банка. // XXXI педеля науки СПбГПУ. 4.IV: Материалы межвузовской научной конференции. -- СПб.: СПбГПУ, 2003. с. 8 9.

11. Бутепко П.В , Зотов A.A., Устинов С.М. Система управления метаданными. // Технологии Microsoft в теории и практике программирования. СПб.: изд-во Политехи, ун-та, 2006. с. 96-98.

12. Бутенко И.В., Дробинцев Д.Ф. Выбор средств организации метаданных для информационно-аналитических систем. // Технологии Microsoft в теории и практике программирования. СПб.: изд-во Политехи, ун-та, 2005. с. 78-80.

13. Бутенко И.В., Дробинцев Д.Ф., Колесник A.C. Принципы построения классического хранилища данных на основании развиваемых витрин данных. // Технологии Microsoft в теории и практике программирования. СПб.: изд-во Политехи, ун-та, 2005. с. 32-34.

14. Бутенко И.В., Зотов A.A., Устинов С.М. Метасистема как основа доступа в неоднородной распределенной базе данных. // Научно-технические ведомости СПбГ'ПУ. СПб.: СИбГПУ, 2007, №2(50). с. 247-252.

15. Бутенко И.В., Кауров И.В., Дробинцев Д.Ф. Разработка модуля анализа и прогнозирования на базе Microsoft Analysis Services // Технологии Microsoft в теории и практике программирования. СПб.: изд-во Политехи, ун-та, 2010. с. 93-95.

16. Бутенко И.В., Ковалевский В.Э. Использование многомерных структур для обработки больших объемов аналитических данных // Технологии Microsoft в теории и практике программирования. -- СПб.: изд-во Политехи, ун-та, 2010. с. 96-97.

17. Бутенко И.В., Ковалевский В.Э. Дробинцев Д.Ф.Реализация механизма загрузки метаданных в Microsoft Analysis Services // Технологии Microsoft в теории и практике программирования. СПб.: изд-во Политехи, ун-та, 2010. с. 97-98.

18. Бутенко И.В., Устинов С.М. Методика построения рспозитория метаданных для сущее 1вующсй информационной системы. // Научно-технические ведомости СИбГПУ. СПб.: СИбГПУ, 2010, №4(103). с. 92-99.

19. Бутенко И.В., Устинов С.М. Разработка моделей и методов построения и автоматизированного наполнения системы метаданных. // Вычислительные, измерительные и управляющие системы: сб. паучп.трудов. СПб.: изд-во Политехи, унта, 2009. с.3-10.

20. Грпщенко А., Макаренко И. Системы на основе мстаонисанпй. // Открытые системы. 2001. № 10.

21. Дейт Д. Дж. Введение в базы данных, 7-е издание. Пер. с англ. • М.: Издательский дом ""Вильяме", 2001,- 1072 е.: ил.

22. Интеграция данных и Хранилища // Клуб знатоков Data Warehouse, OLAP, XML. 2005. № 53 // http: 'www.iso.ru/journal/articles/441 .html.

23. Hineiрация корпоративной информации: повое направление // Клуб знатоков Data Warehouse, Ol AI', XML. 2005. № 37 // htlp./Avwu .iso.ru journal articlcso66.html

24. Карпов В.ГЭ., Карпова И.П. К вопросу о принципах классификации систем. И Информационные технологии. 2002. №2'.

25. К о 11 с I а 11 т a fi н JI., Локвуд Л. Разработка программного обеспечения. СПб.: Птпср. 2004. -592 е. пл.

26. Кузнецов С.Д. Базы данных. Модели и языки. М.: Бином-Пресс. 2008. - 720 с.

27. Ларсои Б. Разработка бизнес-апалшики в Microsoft SQL Server 2005. СПб.: Пшер. 2008. 31 Мак-Дональд M. WPF: Windows Presentation Foundation в .Nl£T 3.5 с примерами на СИ2008 для профессионалов. 2-ое М.: Вильяме, 2008. -- 928 е.: пл. - пер. с англ.

28. Макконнелл С. Профессиональная разработка иротраммното обеспечения. Символ-Плюс. 2007.-240 е.: ил.

29. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир. 1973.

30. Общая метамодель Хранилища данных. // Клуб знатоков Data Warehouse, OLAP, XML. -2003 Л« 23 // http "vs ww.iso.ru |ournal/articles'229.htmll

31. Орам r)., Уилсон 1". Идеальный код. СПб.: Пшер. 2009. - 624 е.: пл.

32. Петров В.И. Информационные системы. СПб.: Питер. 2002. - 688 е.: ил.

33. Репин В.В., Нлиферов В.Г. Процессный подход к управлению: моделирование бизнес-процессов Изд. 4-е. М.: Стандарты и качество. 2006. - 404 с.

34. Российские электронные библиотеки // http://www.elbib.ru/index.phtml?page=elbib/rus/methodology

35. Салливатт Т., Шварц Э. Девятый вал SAS. // Computerworld. 2004. № 12.

36. Смирнов П. Н., На одном языке. // Computerworld. 2005. № 21. // hUPi/1 nlerlech.ru/Aboul/coiTipprcss.asp?niename~compprcss 51

37. Смирнов Г.IL. Сорокин A.A. Тельнов Ю.Ф. Проектирование экономических информационных систем. М.: Финансы и статистика. 2001. - 502 с.

38. С'пирли Э Корпоративные хранилища данных. Планирование, разработка, реализация. Том 1.:Пср с англ. М.: Вильяме, 2001.- 400 е.: ил. - Иарал. шт. англ.

39. Стсйначср С. LTI. ключ к готовности и корректности данных. // Computerworld. - 2001. j\'»3

40. Туманов В. L., Маклаков С. В. Проектирование реляционных хранилищ данных. Диалог-МИФИ. 2007. 336 е.: ил.

41. Хендереон К. Профессиональное руководство rio SQL Server: хранимые процедуры, XML, HTML (ICD). СПб.: Питер, 2005. - 620 с: ил.

42. Чаудхурп С., Дай ал У., Гаити 13. Технология баз данных в системах поддержки принятия решений // Открытые системы. 2002. № 1.

43. Шаша Д., Бонне Ф. Оптимизация баз данных: принципы, практика, решение проблем. -М.: КУДИЦ-ОБРЛЗ. 2004. 432 с.

44. Шмаков Л. Платформа разработки аналитических приложений. // Открытые системы. -2007. №5.

45. Inmon W.II. Metadata in the Data Warehouse. White Paper, 2000.50. nimm W.U. What is Data Warehouse. NY: John Wiley, 1993.

46. Kimball R. The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses. John Wiley & Sons. 1996.

47. Kimball R. The Data Warehouse Toolkit: Building the Web-Fnabled Data Warehouse. John Wiley & Sons. 2000

48. Wadhwa P.S., Kamalapur P. Customized Metadata Solutions for a Data Warehouse A Success Story. White Paper. 2004.

49. Marco D. Meta Data Repository Myths. DM Review Magazine. 2002.