Хранилище данных параметров качества речной воды мегаполиса Дакка на основе многомерной модели тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Мд. Насим Акхтар

• Мд. Насим Акхтар
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Мд. Насим Акхтар

Введение

Глава 1. Системный анализ проблемы качества воды в речной системе мегаполиса Дакка.

1.1. Краткая характеристика мегаполиса Дакка.

1.2. Анализ факторов, определяющих качество воды в речной системе мегаполиса Дакка.

1.3. Анализ литературных источников по качеству воды.

Глава 2. Графовая модель речной системы мегаполиса Дакка.

2.1. Анализ речной системы мегаполиса Дакка.

2.2. Построение обобщенной графовой модели речной системы.

2.3. Формирование речных подсистем в рамках обобщенной модели.

2.4. Расположение точек контроля качества воды в речной системе.

Глава 3. Информационное моделирование хранилища данных.

3.1. Построение концептуальной модели.■.

3.2. Построение реляционной модели:.

3.3. Построение многомерной модели.

Глава 4. Практическая реализация хранилища данных.

4.1. Функциональная модель процесса заполнения хранилища данных.

4.2. Извлечение, преобразование и загрузка данных в хранилище.

4.3. Формирование справочных таблиц.

4.4. Многомерный анализ и визуализация данных.

Введение диссертации (часть автореферата) на тему «Хранилище данных параметров качества речной воды мегаполиса Дакка на основе многомерной модели»

Актуальность работы

Столица государства Бангладеш - город Дакка - в настоящее время является крупным современным мегаполисом с населением более 12 миллионов человек и ежегодным приростом населения около 3% в год. В непосредственной близости от территории мегаполиса расположена замкнутая речная система. Снабжение населения питьевой водой осуществляет Департамент водоснабжения и канализации Дакки (DWASA), используя для этого преимущественно грунтовые воды. Однако уровень грунтовых вод снижается, по данным исследований, на 1-3 м/год, что в ближайшей перспективе может привести к оседанию почв, изменениям в растительном покрове и другим экологическим последствиям, в том числе уменьшению поступления питьевых вод. Проблемы изучения поверхностных вод и повышения их качества становятся все более актуальными, поскольку при существующих темпах деградации подземных источников вод в течение ближайшего десятилетия возникнет проблема очистки речных вод как для бытовых, так и для промышленных целей.

В настоящее время вода в речной системе мегаполиса Дакка ограниченно пригодна для использования. По многим параметрам качество речной воды не соответствует стандартам, особенно при снижении уровня воды в реках в сухих сезонах. Помимо сельскохозяйственных стоков и бытовых сточных вод, значительный вклад в загрязнение поверхностных вод вносят предприятия текстильной и кожевенной промышленности, а также машиностроительные и химические предприятия, сосредоточенные в б основных промышленных зонах (кластерах), расположенных как в городской черте, так и в ближайших пригородах. Основными параметрами, определяющими качество воды в речной системе, являются концентрация растворенного кислорода (DO), химическая (COD) и биохимическая (BOD) потребность в кислороде, содержание твердых частиц (TDS), а также концентрации химических загрязнителей (анионы кислот, ионы металлов, аммиак и т.д.).

Изучению качества воды в речной системе мегаполиса Дакка посвящены работы многих исследователей, однако большинство таких исследований охватывает лишь отдельные небольшие части речной системы. Таким образом, создание единого хранилища данных для сбора, накопления и обработки информации о качестве воды во всей речной системе в целом представляется весьма актуальной задачей.

Объект исследования - речная система мегаполиса Дакка.

Предмет исследования - применение технологий хранилищ данных для мониторинга качества воды в речной системе мегаполиса Дакка.

Цель и задачи работы

Целью работы является совершенствование информационной поддержки систем мониторинга качества воды в речной системе мегаполиса Дакка на основе технологий хранилищ данных. Для достижения указанной цели в работе поставлены и решены следующие задачи:

1. Проведен системный анализ проблемы качества воды в речной системе мегаполиса Дакка, определены основные факторы, влияющие на качество воды в речной системе мегаполиса;

2. Проведен анализ замкнутой речной системы мегаполиса Дакка и сформирована обобщенная модель речной сисетмы на основе теории графов;

3. Выполнено информационное моделирование хранилища данных параметров качества воды в речной системе и разработан комплекс информационных моделей хранилища данных;

4. Реализованы информационные процессы заполнения хранилища данных - извлечение, преобразование и загрузка данных, и проведен анализ накопленных многомерных данных по различным измерениям многомерной модели данных.

Научная новизна Выполнен системных анализ основных факторов, определяющих качество воды в речной системе мегаполиса Дакка; Построена обобщенная графовая модель речной системы, позволяющая формировать частные речные подсистемы с использованием различных источников данных; Разработан комплекс информационных моделей хранилища данных, обеспечивающий возможность проведения многомерного анализа накопленных данных.

Практическое значение Сформирована единая информационная основа систем мониторинга качества воды на базе хранилища данных; Разработаны алгоритмы и функциональная модель информационных процессов заполнения хранилища данных параметров качества воды; Собран, обработан и проанализирован большой объем данных по качеству воды в речной системе мегаполиса Дакка. Методы исследования

В основу решения поставленных задач положены методы системного анализа (декомпозиция, классификация, иерархическое упорядочение, абстрагирование, формализация, композиция, моделирование), методология функционального моделирования ЮЕЯО, методология моделирования потоков данных ОРО, методология проектирования баз данных ЮЕР1Х, теория реляционных баз данных и хранилищ данных. Публикации.

По материалам диссертации опубликовано 8 печатных работ, в том числе 2 статьи в журналах, рекомендованных ВАК РФ для опубликования результатов диссертационных работ, 3 статьи в Российских и зарубежных научных журналах, 3 публикации в сборниках трудов и тезисов докладов всероссийских и международных конференций.

Апробация работы

Основные положения и результаты работы представлены на II й межрегиональной научно-практической конференции «Инновационные и информационные технологии в образовании, экономике, бизнесе и праве», МГУТУ, Волоколамск; 1-й ежегодной международной конференции "Экологическая наука и технологии", Университет Ибб, Йемен; "Международной конференции по устойчивому развитию", Онтарио, Канада и Заочной электронной конференция Российской Академии Естествознания "Современные проблемы загрязнения окружающей среды".

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Мд. Насим Акхтар

Заключение

В работе получены следующие основные результаты: Выполнен системных анализ основных факторов, определяющих качество воды в речной системе мегаполиса Дакка; Построена обобщенная графовая модель речной системы, позволяющая формировать частные речные подсистемы с использованием различных источников данных; Разработан комплекс информационных моделей хранилища данных, обеспечивающий возможность проведения многомерного анализа накопленных данных. Сформирована единая информационная основа систем мониторинга качества воды на базе хранилища данных; Разработаны алгоритмы и функциональная модель информационных процессов заполнения хранилища данных параметров качества воды; Собран, обработан и проанализирован большой объем данных по качеству воды в речной системе мегаполиса Дакка.

Список литературы диссертационного исследования кандидат технических наук Мд. Насим Акхтар, 2010 год

1. Александров Д.В. Системное моделирование бизнеса // Владимир, Изд-во ВлГУ, 2004.

2. Александров Д.В., Костров A.B., Макаров Р.И. , Хорошева Е.Р. Методы и модели информационного менеджмента: Учебное пособие. М.: Финансы и статистика, 2007.

3. Антонов, А. В. Системный анализ: Учеб. для вузов / А. В. Антонов. 2-е изд., стер. - М.: Высш. шк., 2006.

4. Анфилатов B.C., Емельянов A.A., Кукушкин A.A. Системный анализ в управлении. -М.:Финансы и статистика, 2002-368 с.

5. Архипенков С., Голубев Д., Максименко О., Хранилища данных. М.:Диалог-МИФИ, 2002.

6. Баронов, В. В. Информационные технологии и управление предприятием / В. В. Баронов, Г. Н. Калянов, Ю. Н. Попов, И. Н. Титовский. М.: Компания АйТи, 2004

7. Беспамятнов Г.П., Кротов Ю.А. Предельно допустимые концентрации химических веществ в окружающей среде. — Л.: Химия, 1985. — 528 с.

8. Бирюков А. Системы принятия решений и Хранилища Данных. // СУБД, №4, 1997.

9. Бочаров Е.П., Колдина А.И. Интегрированные корпоративные информационные системы. М.: Финансы и статистика, 2005.

10. Бритов П. А., Липчинский Е.А. Практика построения хранилищ данных: SAS System / Корпоративные системы, № 3,1999.

11. Вендров A.M. CASE-технологии. Современные методы и средства проектирования информационных систем. М., Финансы и статистика, 1998.

12. Вендров A.M. Проектирование программного обеспечения экономических информационных систем. М., Финансы и статистика, 2000.

13. Вентцёль Е.С. Исследование операций. Задачи, принципы, методология. -М.: Наука, 1980.

14. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа. -СП.: СПбГТУ, 2001.

15. Вон Ким. Три основных недостатка современных хранилищ данных. Открытые системы, 2/2003.

16. Гейн К., Сарсон Т. Структурный системный анализ: средства и методы/Пер.с англ.: под ред.А.В.Козлинского М.:Эйтекс, 1993.-360 с.

17. Горев А., Ахаян Р., Макашарипов С. Эффективная работа с СУБД СПб.: Питер Пресс, 1997.

18. ГОСТ 17.1.1.01-77. "Использование и охрана вод. Основные термины и определения"

19. ГОСТ 34.320096 "Концепция и терминология для концептуальной схемы и информационной базы"

20. ГОСТ 34.602-89 ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ. Комплекс стандартов на автоматизированные системы. Термины и определения.

21. ГОСТ 34.602-89 ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы.

22. ГОСТ Р ИСО 14001-2005. Системы экологического менеджмента. Требования и руководство по применению. М.: Издательство стандартов, 2005.

23. ГОСТ Р ИСО 14004-98. Системы управления окружающей средой. Общие руководящие указания по принципам, системам и средствам обеспечения функционирования.

24. ГОСТ Р ИСО 14004-98. Системы управления окружающей средой. Общие руководящие указания по принципам, системам и средствам обеспечения функционирования. Госстандарт России. М.: ИПК Издательство стандартов, 1998.

25. Гринберг, А. С. Информационный менеджмент: Учеб. пособие для вузов / А. С. Гринберг, И. А. Король, М.: ЮНИТИ-ДАНА, 2003.

26. Гусева Т.В., Дайман С.Ю. и др. Экологическая информация и принципы работы с ней. М.: Эколайн, 1998.

27. Дегтярев Ю.И. Системный анализ и исследование операций. Учебник для ВУЗов. М.: Высшая школа, 1996.

28. Дейт К. Введение в системы баз данных. М., Мир, 1981.

29. Делятицкий С., Зайонц И., Чертков Л., Экзарьян В. Экологический словарь. -М.: Конкорд Лтд. Экопром, 1993.

30. Дубейковский В.И. Практика функционального моделирования с AIIFusion Process Modeler. M.: ДИАЛОГ-МИФИ, 2004.

31. Дубова H. Устройство и назначение хранилищ данных. Открытые системы, № 4,1998.

32. Измалков В.И. Экологическая безопасность, методология прогнозирования антропогенных загрязнений и основы построения химического мониторинга. — СПб, 1994. — 131 с.

33. Информатика для химиков-технологов. Учеб. пособие для ВУЗов. Под ред. Л.С. Гордеева, В.Ф. Корнюшко. Учебное пособие для ВУЗов. М., Высшая школа, 2006.

34. Информатика для химиков-технологов. Учеб. пособие для студентов вузов химико-технологического направления. Под ред. В.Ф. Корнюшко, М., РАДОН-ПРЕСС, 2001.

35. Калашян А.Н., Калянов Г.Н. Структурные модели бизнеса: DFD-технологии М: Финансы и статистика, 2003

36. Калянов Г.Н. CASE-технологии. Консалтинг в автоматизации бизнес-процессов. М.: Горячая линия-Телеком, 2002.

37. Калянов, Г.Н. Моделирование, анализ, реорганизация и автоматизация бизнес-процессов: Учеб. пособие / Г. Н. Калянов. М.: Финансы и стати-стика, 2006.

38. Каменнова М., Громов А., Ферапонтов М., Шматалюк А. Моделирование бизнеса. Методология ARIS. М.:Весть-МетаТехнология, 2001.

39. Колыбанов К.Ю. Основы построения корпоративных информационных систем экологического мониторинга предприятий химического профиля. // Химия и химическая технология, т.51, №9, 2008.

40. Колыбанов К.Ю., Джебуннахар, Морозова O.A. Моделирование переноса загрязнений в реке Buriganga (Dhaka city, Bangladesh) на основе интегральных критериев качества воды. // "Ученые записки МИТХТ", №1, М., ИПЦ МИТХТ, 1999.

41. Колыбанов К.Ю., Панова С.А. Хранилище данных как основа корпоративной информационной системы. // Программные продукты и системы, М., №1, 2007.

42. Конноли, Томас, Бегг, Каролин, Страчан, Анна. Базы данных: проектирование, реализация, сопровождение. Теория и практика. М., Издательский дом «Вильяме», 2001.

43. Костров A.B. Информационный менеджмент. Управление ресурсами информационных систем. Владимир: ВлГУ, 2003.

44. Костров A.B. Информационный менеджмент. Эффективность информационных систем. Владимир: ВлГПУ, 2002.

45. Костров A.B. Основы информационного менеджмента. М.: Финансы и статистика, 2001.

46. Костров A.B. Системный анализ и принятие решений. Владимир: ВлПУ, 1995.-68 с.

47. Костров, A.B. Информационный менеджмент. Оценка эффективности информационных систем / А. В. Костров, Д. А. Матвеев. Владимир: ВлГУ, 2004.

48. Кузнецов С.Д. Введение в системы управления базами данных //СУБД. -1995, №1-4, 1996, №1-5

49. Кузнецов С.Д., Артемьев В. Обзор возможностей применения ведущих СУБД для построения хранилищ данных (DataWarehouse). Материалы 3-ей ежегодной конференции "Корпоративные базы данных'98".

50. Кулаичев А. П. Средства и программы системы анализа данных. // Мир ПК, №10,1994,

51. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. 2-е изд., перераб. и доп. М.: СИНТЕГ, 2002.

52. Лисянский К. Архитектурные решения и моделирование данных для хранилищ и витрин данных. URL: http://www.olap.ru/basic/diasoftl.asp (дата обращения: 12.05.2009)

53. Львов В. Создание систем поддержки принятия решений на основе хранилищ данных. Системы управления базами данных, № 3,1997.

54. Маклаков C.B. Моделирование бизнес-процессов с AIIFusion Process Modeler (BPwin 4.1). // M.: ДИАЛОГ-МИФИ, 2004.

55. Марчук Г.И. Математическое моделирование в проблеме окружающей среды. М.: Наука, 1982. - 319 с.

56. Мд. Насим Акхтар, К.Ю. Колыбанов. Графовая модель речной системы мегаполиса Дакка, Бангладеш // Интеграл, 2010. - N95

57. Мд. Насим Акхтар, К.Ю. Колыбанов. Проектирование и разработка хранилища данных системы мониторинга качества воды в периферийной речной системе мегаполиса Дакка, Бангладеш. // Современные наукоемкие технологии. 2010. - № 4

58. Мд. Насим Акхтар, К.Ю. Колыбанов. Разработка и заполнение хранилища данных параметров качества воды в речной системе мегаполиса Дакка на основе многомерной модели данных // Вестник МИТХТ, 2010. - №7

59. Методология функционального моделирования. Рекомендации по стандартизации. Р 50.1.028-2001, ИПК Издательство стандартов, 2001.

60. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ М.: Высш.школа, 1989-256.

61. Примак A.B., Кафаров В.В., Качиашвили К.А. Системный анализ кон-троля и управления качеством воздуха и воды Киев: Наукова думка, 1991.

62. Протасов В.Ф., Матвеев A.C. Экология: термины и понятия, стандарты, сертификация, нормативы и показатели. М.: Финансы и статистика, 2001. -208с.

63. Ревунков Г.И. и др. Базы и банки данных и знаний. М.: Высшая школа, 1992.

64. Сахаров А. А. Концепции построения и реализации информационных систем, ориентированных на анализ данных. Системы управления базами данных № 4,1996.

65. Советов Б.Я., Цехановский В.В. Информационные технологии. М.: Высшая школа, 2003.

66. Советов Б.Я., Яковлев С.А. Моделирование систем М.:Высшая школа, 1985.

67. Спирли Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том 1.: Пер. с англ. М.: Издательский дом «Вильяме», 2001.

68. Спицнадель В.Н. Основы системного анализа. СПб.: Изд. Дом «Бизнес-пресса», 2000.

69. Стулов А. Особенности построения информационных хранилищ. Открытые системы, № 4, 2003.

70. Торбен Бэч Педерсен, Кристиан Йенсен. Технология многомерных баз данных. Открытые системы, №1, 2002.

71. Тюрин Ю.Н., Макаров A.A. Анализ данных на компьютере /Под ред. В.Э.Фигурнова. М.: Финансы и статистика, 1995.

72. Чен П.П. Модель "сущность-связь" шаг к единому представлению данных. СУБД, N3,1995 г.

73. Ahmed, A.U., Reazuddin, М., Industrial Pollution of Water Systems in Bangladesh. // Environmental System of Surface Water Systems of Bangladesh, University Press Limited, Dhaka, Bangladesh, 2000.

74. Annual Report. // Department of Environment, Dhaka, Bangladesh, 1993.

75. Assessment of water quality in the peripheral rivers of Dhaka city. // Institute of Water Modeling (IWM), Dhaka, Bangladesh, 2007, URL: http://www.bwdb.gov.bd/ (дата обращения: 12.05.2009)

76. Bachman, C.W. Data structure diagrams. Data Base 1,2 (Summer 1969), 4-10.

77. Bachman, C.W. Trends in database management 1975. Proc., AFIPS 1975 NCC, Vol.44, AFIPS Press, Montvale, N.J., pp. 569-576.

78. Bangladesh State of the Environment Report 2001. // Bangladesh Centre for Advanced Studies (BCAS), 2001, URL: www.bcas.net/publication/SoE/Water Pollution.pdf (дата обращения: 12.05.2009)

79. Barker Richard "CASE*Method. Entity-Relationship Modelling", Copyright Oracle Corporation UK Limited, Addison-Wesley Publishing Co., 1990

80. Barker Richard "CASE*Method. Function and Process Modelling", Copyright Oracle Corporation UK Limited, Addison-Wesley Publishing Co., 1990

81. Bhattacharya, D., Kabir, B.N., Ali, K. Industrial Growth and Pollution in Bangladesh: A Sectoral Analysis. // "Environment and Sustainable Development with Special Reference to Bangladesh", Dhaka University, Bangladesh, 1995.

82. Buriganga Mitigation May 2008. // Department Of Environment (DOE), Bangladesh, 2008, URL: http://www.doe-bd.org/cwbmp/index.html (дата обращения: 12.05.2009)

83. Codd E.F. Relational Model Of Data for Large Shared Data Banks. Communications of the ACM. Volume 13. Number 6. — New York, London and Amsterdam: ACM, June 1970.

84. Dhaka Water Resources Management Program. Final Report. // Dhaka Water Supply and Sewerage Authority (DWASA), Dhaka, Bangladesh, 1998, URL: http://www.dwasa.org.bd (дата обращения: 12.05.2009)

85. Feasibility Report. Volume 1. // Bangladesh Water Development Board, Government of People's Republic of Bangladesh, 2004

86. Feasibility Report. Volume 2. // Bangladesh Water Development Board, Government of People's Republic of Bangladesh, 2004

87. Hossain M.M., Pollution Problem in the Coastal Area of Bangladesh,. // Oceanography, №4&5, 2000.

88. Industrial Environmental Compliance and Pollution Control in Greater Dhaka. Phase 1. //World Bank Interim Report, 2006

89. ISO/TR 9007:1987 "Concepts and terminology for the conceptual schema and the information base".

90. Inmon W.H. Building the Data Warehouse. New-York, John Wiley, 1992.

91. Karn, S.K., Harada, H. Surface Water Pollution in Three Urban Territories of Nepal, India and Bangladesh. // Environmental Management, vol. 28, 2001.

92. Key Environmental Issue. // Regional Resource Centre for Asia and Pacific, Asian Institute of Technology (AIT), Bangkok, Thailand, 2005 URL: http://www.rrcap.unep.org/reports/soe/dhaka-soe-05/3-2dhaka-water.pdf (дата обращения: 12.05.2009)

93. Kimball R. The Data Warehouse Lifecycle Toolkit. New York: Wiley Computer Publishing, 1998.

94. Management of Aquatic Ecosystem through Community Husbandry (MACH), Pollution Study. // Bangladesh Centre for Advanced Studies (BCAS), Dhaka, Bangladesh, 2000.

95. Management of water quality in Dhaka. //World Bank, 2005 URL: http://siteresources.worldbank.org/BANGLADESHEXTN/Resources/295759-1173922647418/ch3.pdf (дата обращения: 12.05.2009)

96. Power Cell, Power Division. 11 World Bank, 2006, URL: http://wwwwds.worldbank.org/external/default/WDSContentServer/WDSP/ IB/2008/04/07/00033303720080407021046/Rendered/PDF/E17380EAOOVOLll 0BOX327349B01PUBLICl.pdf (дата обращения: 12.05.2009)

97. Report on Mitigation of River Pollution of Buriganga and linked rivers Turag, Tongj Khal, Balu, Sitalakhya and Dhaleswari. // River Pollution Mitigation Committee (RPMC), 2008

98. Resource Assessment and Monitoring of Water Supply Sources for Dhaka City. Final Report. // Dhaka Water Supply and Sewerage Authority (DWASA), Dhaka, Bangladesh, 2006, URL: http://www.dwasa.org.bd (дата обращения: 12.05.2009)

99. URL: http://proceedings.esri.com/library/userconf/proc06/papers/papers/papl 067.pdf (дата обращения: 12.05.2009)m.Study on Drainage Master Plan for Dhaka City and DND Area. // Dhaka Water Supply and Sewerage Authority, Final Report, 2006

100. The General over view of pollution status of Rivers of Bangladesh. // Department of Environment, Dhaka, Bangladesh, 2001.

101. Water Quality Data of Rivers Buriganga, Meghna, Balu, Sitalakhya, Jamuna (1981-1990). // Government of People's Republic of Bangladesh

102. Water Quality Modeling. // Institute of Water Modeling (IWM), Dhaka, Bangladesh, 1995, URL: http://www.mowr.gov.bd/ (дата обращения: 12.05.2009)

103. Yusuf, H.K.M. Impact of the 1998 Flood on Water Quality in Dhaka City. // Draft Report, Department of Environment, Dhaka, Bangladesh, 1998.