Разработка методики построения хранилищ данных для систем финансового учета тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Зотов, Алексей Алексеевич

• Зотов, Алексей Алексеевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Зотов, Алексей Алексеевич

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

Глава 1. Описание информационно - аналитических аспектов деятельности банков и концепций их реализации.

1. Особенности аналитической деятельности банков.

1.1 Краткое описание предметной области.

1.2 Системы автоматизации финансовой деятельности.

2. Концепции построения и реализации И АС.

2.1 Концепция хранилищ данных.

2.2 Концепция витрин данных.

2.3 Концепция интеллектуального анализа данных.

2.4 Концепция оперативной аналитической обработки данных (OLAP). ф 2.5 Концепция традиционного анализа данных.

2.6 Сравнительный анализ концепций построения ИАС.

3. Сравнительный анализ инструментальных средств построения ИАС.

3.1 Стратегия построения ИАС.

3.2 Критерии выбора СУБД.

3.3 Сравнительный анализ СУБД.

4. Обзор готовых ИАС.

5. Постановка задачи.

Глава II. Методика построения хранилищ данных для банковских систем.

1. Различные методики построения хранилищ данных.

2. Разработка методики построения хранилищ данных.

Этап 1. Определение необходимости построения ХД.

Этап 2. Выбор и обследование предметной области.

Этап 3. Концептуальная архитектура хранилища.

Этап 4. Логическая архитектура хранилища.

Этап 5. Физическая (Технологическая) архитектура хранилища.

Ф Этап 6. Детальное представление или разработка.

Систематизация методики - построение схемы Захмана.

3. Формальная модель хранилища данных.

3.1 Описание данных во ВИ и процессов их переноса в ХД.

3.2 Описание данных в ХД и процессов их переноса в витрины.

3.3 Критерии и требования к организации ХД.

Глава III Разработка информационно - аналитических систем банковской деятельности

1. Аналитические задачи банковской деятельности.

2. Информационно-аналитическая система "Бюджет клиента".

Этап 1. Определение необходимости построения ХД.

Этап 2. Выбор и обследование предметной области.

Этап 3. Концептуальная архитектура И АС.

Этап 4. Логическая архитектура ИАС.

Этап 5. Физическая (технологическая) архитектура ИАС.

Этап 6. Детальное представление или разработка.

Глава IV Исследование достоверности и эффективности предложенной методики.

1. Оценка формальной модели ХД.

1.1 Оценка достоверности формулы определения объемов данных.

1.2 Изменение объемов отношений при применении формальных правил.

2. Оценка ИАС, разработанных с использованием предложенной методики.

2.1.1 Сравнение по группе критериев "Эффективность (экспериментально)".

2.1.2 Сравнение по группе критериев "Эффективность (сложность)".

2.1.3 Сравнение по группе критериев "Трудоемкость".

Введение диссертации (часть автореферата) на тему «Разработка методики построения хранилищ данных для систем финансового учета»

Актуальность

На сегодняшний день в области информационных технологий особую актуальность приобретают вопросы построения информационно - аналитических систем. Особенно это отражается на такой области, как банковская деятельность.

Ситуация на рынке аналитической банковской деятельности в России такова, что более половины банков не имеют соответствующих информационно-аналитических систем (ИАС). Вопросы анализа информации в таких банках решаются полуавтоматизированным способом или же вручную. Это приводит к понижению конкурентоспособности конкретного банка и нестабильности банковской системы страны в целом. Существующие же аналитические системы решают весьма ограниченный круг вполне конкретных задач анализа, не унифицированы и привязаны к технологическим процессам и методикам определенного банка.

Построение ИАС по сути своей очень трудоемкий и дорогостоящий процесс, особенно для России. Постоянное изменение законодательства, нестабильная финансовая и политическая ситуация страны обуславливают необходимость периодического внесения соответствующих, порой существенных изменений в архитектуру и бизнес процессы аналитических систем. Зачастую такие изменения требуют принципиальных доработок системы, а в ряде случаев вызывают необходимость ее перепроектирования. Для того чтобы избежать таких проблем и обеспечить возможность проектирования достаточно унифицированных ИАС, легко адаптируемых к изменению внешних условий, необходима теоретическая и методологическая база и соответствующие инструментальные средства ее реализации.

В данной работе на основе анализа существующих концепций создания систем данного класса и тенденций развития технологии и информационно - аналитической деятельности в целом, разработаны теоретическая база и методика построения ИАС. Разработанная методика обеспечивает возможность построения ИАС, в сравнительно короткие сроки адаптируемой к быстроизменяющимся требованиям и пригодной для обеспечения деятельности большой группы предприятий. Предложенная теоретическая база позволяет автоматизировать процесс построения хранилищ данных (ХД) для аналитических систем на основании формальной модели.

Цель и задачи работы

Целью работы является создание методики построения и формального аппарата описания универсального ХД для повышения производительности труда разработчиков и повышения эффективности ИАС за счет:

• формализации процесса построения ИАС и ХД с учетом отраслевой специфики, обеспечивающей возможность их автоматизированного проектирования;

• разработки практической методики построения ИАС и ХД, позволяющей обеспечивать в сравнительно короткие сроки их проектирование и адаптацию к внешним условиям в соответствии с быстроменяющимися требованиями на основе универсального ХД, пригодного для удовлетворения информационно -аналитических потребностей большой группы банков.

Методы исследования

В диссертации используются методы теории множеств, реляционной алгебры, реляционного исчисления, проектирования и нормализации баз данных (БД) а так же методы системного структурного анализа.

Достоверность полученных результатов подтверждается использованием утверждений, доказанных в реляционной алгебре, корректным доказательством и непротиворечивостью собственных утверждений и достаточной аргументацией приведенных в работе выводов и рекомендаций, а также практическим внедрением результатов исследований и их апробацией. Научная новизна работы

Научную новизну работы представляют следующие результаты:

• В рамках методов системного структурного анализа для формализации требований к ИАС предложен механизм формирования т.н. иерархии функциональных требований. Впервые на его основе сформированы методы выделения базовых, специфических и исходных требований.

• Предложен механизм выделения исходных сущностей и построения информационной структуры ИАС высокого уровня, базирующийся на основе сформированных исходных требований.

• Предложен новый подход проектирования ХД, в рамках которого предлагается использовать логические структуры данных внешних источников.

• На базе построенной формальной модели ХД и доказанных утверждений введены правила "денормализации" и "денормализации вертикальных структур", с помощью которых проектируется ХД.

• Впервые использованы правила "объединения" и "всеобщего объединения" применительно к уже существующим структурам данных.

• На основании введенных правил и функциональных требований сформулирован набор критериев для оценки необходимости и эффективности применения соответствующих правил преобразования.

Практическая значимость работы

Полученные в работе результаты были использованы при построении ИАС для решения широкого круга аналитических задач для группы коммерческих банков. На основании формальной модели было построено универсальное ХД, позволяющее решить около 80% всех аналитических задач, присущих банковской деятельности.

Результаты, полученные при реализации предложенных методов построения ИАС, использованы в разработке системы формирования отчетности и анализа банковских данных - SBR&A. Так же результаты применения разработанной методики были использованы при построении ХД для торгового предприятия.

Хочется выразить глубокую благодарность за чрезвычайно ценные замечания и советы Дробинцеву Д.Ф., послужившие более четкому и полному изложению материала. Апробация работы

Основные результаты диссертационной работы обсуждались в рамках научно-практических конференций СПбГПУ, а также на семинарах «29-я, 31-я, 32-я неделя науки» СПбГПУ и были доложены на II Международной научно-практической конференции «Информационные технологии в моделировании и управлении». Внедрение

Разработанная методика и инструментальные средства поддержки внедрены в ООО «Деловые консультации, СПб», ЗАО «Телекомбанк», АКБ "Связь-банк", ЗАО "РБД" и в рамках учебного курса «Базы данных» кафедры «Информационные и Управляющие Системы» СПбГПУ.

Структура диссертационной работы

Первая глава посвящена изучению различных аспектов аналитической деятельности предприятий на примере коммерческих банков. Проведен сравнительный анализ ИАС банковской деятельности и концепций построения и реализации таких систем. Определен жизненный цикл и стратегия построения а так же предложены критерии выбора программных средств. Определена и поставлена задача.

Во второй главе автор предлагает к рассмотрению собственную методику построения ХД и ИАС, полученную на основе анализа:

• концепций организации ИАС и ХД;

• банковской деятельности и требований к анализу и отчетности;

• принципов и примеров построения подобного рода систем;

• методик построения аналитических систем.

Так же разработана формальная модель ХД и предложен новый подход к проектированию ХД.

В третьей главе показаны реальные примеры использования разработанной методики и формальной модели для построения ИАС банковской деятельности.

В главе IV для получения оценки эффективности был проведен анализ критериев качества ИАС и возможностей их оптимизации в рамках разработанного аппарата формального описания.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Зотов, Алексей Алексеевич

Заключение

В работе проведен сравнительный анализ существующих ИАС и методик их построения, указаны их основные достоинства и недостатки. Рассмотрены различные концепции построения и реализации ХД и ИАС, проведен сравнительный анализ подходов к построению ХД, в ходе которого выявлена необходимость применения единых методик и формальных подходов к построению ИАС.

Разработана методика построения ХД, в рамках которой предлагается использование схемы Захмана на каждой итерации жизненного цикла.

Предложен механизм построения иерархии функциональных требований, который дал разработчикам возможность формального описания предметной области в привязке в функциональности ИАС.

Предложен новый подход к проектированию ХД, который заключается в использовании структур данных внешних источников.

Разработана формальная модель ХД, в рамках которой проведено расширение реляционной алгебры, в результате которого выведены правила и критерии проектирования ХД.

Разработанная методика и формальная модель была успешно внедрена в процесс организации - разработчика, в результате чего были построен ряд ИАС для банковской и торговой деятельности. Это показывает работоспособность методики.

Проведена оценка предлагаемой формальной модели, результаты которой показали корректность формул и правил, используемых в ее рамках.

Проведена оценка качества построенных ИАС с ИАС сторонних производителей, результаты которой показали сравнительно высокие показатели.

На основе анализа результатов внедрения методики делается вывод о целесообразности ее применения для построения большого ряда ИАС для решения многих аналитических задач.

Список литературы диссертационного исследования кандидат технических наук Зотов, Алексей Алексеевич, 2004 год

1. Архипенков С., Голубев Д., Максименко О. Хранилища данных. От общей концепции до внедрения / Под общ. ред. С.Я. Архипенкова. М.: ДИАЛОГ-МИФИ, 2002. - 528 с.

2. Бочаров А. Пример реализации СППР в банке // Банковские технологии. 2002. №2.-С. 23 -29.

3. Васильева И. Реинжиниринг программного обеспечения: определения, стратегии, экономическое обоснование //http://se.math.spbu.ru/courses/Reeng/2001/Vasilieva.html

4. Викторов Л. Использование хранилища данных в банковской системе финансового управления // http://www.olap.ru/best/bfin.asp

5. Вендров A.M. CASE-технология. Современные методы и средства проектирования систем. — М.: Финансы и статистика, 1998. ЗН5с.

6. Гейн К., Сарсон Т. Системный структурный анализ: средства и методы. — М.: Эйтекс, 1992. -^Ыс.

7. Дюк В., Самойленко A. Data Mining: учебный курс. СПб.: Питер - Пресс, 2001. -368 с.

8. Дейт, К., Дж. Введение в системы баз данных, 6-е издание: Пер. с англ. К.; М.; СПб.: Вильяме, 1999. - 848 е.: ил. - Парал. тит. англ., уч. пос.

9. Евтюшкин А.В. Выбирая автоматизированную банковскую систему // Банковские системы и оборудование. 1994. №1. - С. 17-34.

10. И.Зотов А.А., Кракау Т.К., Капустин В.В. Архитектура хранилища данных многофилиального банка. // XXXI неделя науки СПбГПУ. 4.IV: Материалы межвузовской научной конференции. СПб.: СПбГПУ, 2003. С. 10 11.

11. Зотов А.А., Бутенко И.В. Архитектура построения автоматизированной банковской системы для многофилиального банка. // XXXI неделя науки СПбГПУ. 4.IV: Материалы межвузовской научной конференции. СПб.: СПбГПУ, 2003. С. 8-9.

12. Зотов А.А., Дробинцев Д.Ф., Бутенко И.В. Разработка подсистемы формирования данных для Интернет-банка. // Конкурс конференция студенческих работ в области современных технологий программирования в СПбГПУ: СПб.: СПбГПУ,2003.С. 10 12.

13. Зотов А.А., Пархоменко С.А., Ульянов С.Г. Разработка шаблонов реализации СОМ-объектов MS DTS. // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ, 2004. С. 36 37.

14. Зотов А.А., Пархоменко С.А., Якимайнен А.Ю. Реализация загрузки XML документов посредством MS DTS. // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ,2004. С. 32 33.

15. Зотов А.А. Принципы проектирования аналитической системы в условиях быстро меняющихся требований // XXXII неделя науки СПбГПУ. 4.V: Материалы межвузовской научно-технической конференции. СПб.: СПбГПУ, 2004. С. 38 40.

16. Инмон У. Обоснование хранилища данных //http ://www. iso. ru/j ournal/articles/182 .html

17. Инмон У. Типы хранилищ данных // http://www.iso.ru/journal/articles/181.html

18. Пендс Н. Обеспечение OLAP (оперативной аналитической обработки) для пользователей аналитиков // http://www.cfin.ru/itm/olap/olap fasmi.shtml

19. Логиновский О.В. Управление и моделирование в социальных и экономических системах: Учеб. пособие. — Челябинск: ЮУрГУ, 1997. —501с.

20. Львов В. Создание систем поддержки принятия решений на основе хранилищ данных // http .'//www, osp.ru/dbm s/1997/03/3 0.htm

21. Маркелов К. Историография банковских технологий // Банковские технологии. -2004. №4. С. 22 - 27.

22. Маклаков С. Проектирование хранилищ данных с помощью PLATINUM Erwin // http: //www. interface. ru/publ ic/wh/wh. htm

23. Маклаков C.B. BPWin и ERWin. CASE средства разработки информационных систем. - М.: ДИАЛОГ - МИФИ, 1999. - 256 с.

24. Никольский Н. Интеллектуальные технологии анализа данных // Компьютер пресс. — 2000. № 4. — С. 148-149.

25. Пуле М. Денормализация: как нарушить правила и избежать последствий // http :/7www.osp .ru/win2000/sql/890 .htm

26. Полукеев О., Коваль Д. Моделирование бизнеса и архитектура информационной системы // www.osp.ru

27. Сахаров А.А. Концепция построения и реализации информационных систем, ориентированных на анализ данных // СУБД. — 1996. № 4. С. 55-70.

28. Сахаров А.А. Принципы проектирования и использования многомерных баз данных (на примере Oracle Express Server) // СУБД. — 1996. № 3. — С. 44-59.

29. Саймон А. Склады данных // СУБД. 1997. №3. - С. 1&-ЗЧ.

30. Синха С. Точка возврата // http://www.tcs.coin

31. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том 1.: Пер. с англ. М.: Вильяме, 2001. - 400 е.: ил. - Парал. тит. англ.

32. Стогний А., Кожевникова Г. Метрический анализ программ: основные концепции, методы и направления

33. Федоров А., Елепанова Н. Введение в OLAP // Компьютер Пресс. — 2001. № 4. — С. 145-148, № 5. — С. 137-140.

34. Хэкни Д. Успешное хранилище данных: Архитектурные решения // http://www.iso.ru/journal/articles/184.html

35. Щавелев J1. Оперативная аналитическая обработка данных концепции и технологии // http://www. о 1 ар.ru/basiс/о 1 ар and id a. asp

36. Ballard С., Herreman D., Schau D., Bel R., Kim E., Valencic A. Data Modeling Techniques for Data Warehousing // IBM ITSO Red Books

37. Codd E.F., Codd S.B., Salley C.T. Providing OLAP (On-Line Analytical Processing) to User-Alalysts: An IT Maudate. — E.F. Codd & Associates, 1993.

38. Darwen H. The Role of Functional Dependence in Query Decomposition // C.J. Date and H. Darwen. Relational Database Writings 1989 1991. - Reading, Mass.:Addison-Weslay, 1992.

39. Demarest M. Building the Data Mart // DBMS. — 1994. — № 7. — P. 44-50.

40. Data Warehousing. Butler Group Co., UK.

41. Inmon W.H. What is Data Warehouse. — NY: John Wiley, 1993.

42. Inmon W.H. Building The Data Warehouse (Second Edition). — NY: John Wiley, 1993.

43. Kimball R., "The Data Warehouse Toolkit: Practical Techniques for Building Dimensional Data Warehouses", John Wiley & Sons, 1996.

44. Kimball R., "The Data Webhouse Toolkit: Building the Web-Enabled Data Warehouse", John Wiley & Sons, 2000.

45. Krutchten P. The Rational Unified Process, An Introduction (The Addison Wesley Object Technology Series), Addison - Wesley Publishing Conpany, 2000.