Автоматизация технологических процессов рефакторинга баз данных промышленных предприятий тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Пшеничный, Данил Андреевич

• Пшеничный, Данил Андреевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Пшеничный, Данил Андреевич

ВВЕДЕНИЕ.

1. ТЕОРЕТИЧЕСКИЕ И МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ПРОВЕДЕНИЯ РЕФАКТОРИНГА БАЗ ДАННЫХ ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ.

1.1. Эволюционный подход к моделированию баз данных.

1.2. Современные технологии построения распределенных интегрированных информационных систем.

1.3. АНАЛИЗ Задач проектирования и управления распределенной ингерированной информационной системой.

1.4. Проблемы применения рефакторинга баз данных при его внедрении в производственный процес.

1.4.1 Эффективное развертывание с передачей из одной специализированной среды в другую.

1.4.2 Применение наборов операций рефакторинга базы данных.

1.4.3 Планирование подходящих интервалов развертывания.

1.4.4 Развертывание всей системы.

1.4.5 Удаление устаревшей схемы.

Выводы.

2. СИНТЕЗ И ФОРМАЛИЗАЦИЯ И РЕШЕНИЕ ЗАДАЧИ РЕФАКТОРИНГА БАЗ ДАННЫХ ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ.

2.1. Метод формирования структуры базы данных.

2.2. Планирование разработки системы баз данных.

2.3. Разработка метода распознавания сходства текущего состояния системы с выделенными критическими состояниями.

Выводы.

3. МЕТОДЫ РАЗРАБОТКИ ОПТИМАЛЬНЫХ СТРУКТУР ДАННЫХ ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ.

3.1. Оптимальное размещение данных и критерии оптимальности

3.2. Оценка семантических свойств доменов при обеспечении целостности и эффективности БД.

3.3. Учет индивидуальных семантических свойств данных в доменно-ориентированной организации данных.

3.4. Метод оптимизации структур данных промышленных предприятий по рейтингу запросов.

4. ПРОВЕДЕНИЕ РЕФАКТОРИНГА РАСПРЕДЕЛЕННОЙ БАЗЫ ДАННЫХ ПРОМЫШЛЕННОГО ПРЕДПРИЯТИЯ И ОЦЕНКА ЕГО ЭФФЕКТИВНОСТИ (НА ПРИМЕРЕ ЛИКЕРО-ВОДОЧНОГО ХОЛДИНГА ООО «ПАРЛАМЕНТ ПРОДАКШН»).

4.1. Разработка методики рефакторинга баз данных.

4.1.1 Общая схема проведения РБД ИС1111.

4.1.2 Признаки необходимости проведения рефакторинга БД ИС ПП.

4.1.3 Построение плана проведения РБД ИС 1111.

4.2. Реализация полученного плана рефакторинга.

Сложности, встречающие при реализации операций рефакторинга

Формализация операций рефакторинга.

4.3. Управление развертыванием изменений, средства контроля версий, откат изменений.

4.4. Сравнительная оценка эффективности вариантов иерархической структуры данных.

4.5. Оценка производительности и работоспособности систем с различной архитектурой.

Выводы.

Введение диссертации (часть автореферата) на тему «Автоматизация технологических процессов рефакторинга баз данных промышленных предприятий»

АКТУАЛЬНОСТЬ РАБОТЫ

Анализ особенностей функционирования промышленных предприятий подтверждает необходимость всестороннего исследования и пересмотра существующих бизнес-процессов, методов и подходов к проектированию информационных систем (ИС) промышленных предприятий, а также методов и подходов к проектированию баз данных (БД), как основной составляющей любой ИС.

Любому крупному предприятию, такому как производственный концерн, холдинг или проектная организация приходится иметь дело с огромным объемом разнородной информации, поступающей из различных информационных систем, которую необходимо обрабатывать и анализировать с целью ее последующего использования в бизнес-процессах или технологическом цикле производства.

Решение указанных задач невозможно без использования современных информационных систем интеграции и управления данными. Pix применение позволяет повысить эффективность работы предприятий, сократить издержки, оптимизировать численность персонала. На крупных предприятиях, разработка таких систем очень часто связана с необходимостью интеграции данных из высоконагруженных информационных систем и обеспечением приемлемого времени выполнения запроса пользователя.

В силу значительной стоимости создания такого рода систем и специфичности деятельности каждого крупного предприятия или организации, подобные системы разрабатываются, как правило, под заказ, хотя и строятся на базе готовых решений крупных производителей. Эти системы решают задачи в соответствии с конкретными требованиями, установленными техническими заданиями и почти всегда являются уникальными продуктами, применение которых на других предприятиях невозможно или неэффективно.

Следует также отметить, что фирмы - разработчики информационных систем объективно не заинтересованы проводить исследования, направленные на поиски универсальных подходов к их проектированию, поскольку, в конечном счете, это уменьшает коммерческую выгоду от их деятельности.

Следствием сложившейся ситуации является то, что при обилии существующих информационных систем различного направления, тема разработки информационной системы, автоматизирующей процессы интеграции и управления данными, предназначенной для работы в режиме высокой загрузки и позволяющей легко адаптировать их структуру и возможности под конкретные задачи предприятий разного профиля, почти не освещена в публикациях.

Рефакторинг баз данных (англ. database refactoring) — это простое изменение в схеме базы данных, которое способствует улучшению ее проекта при сохранении функциональной и информационной семантики. Иными словами, следствием рефакторинга базы данных не может быть добавление новых функциональных возможностей или ограничение уже существующих, равно как и добавление новых данных или же изменение смысла существующих.

Современная теория и практика показывает, что эффективное управление деятельностью промышленных предприятий должно быть основано на перманентном совершенствовании структуры БД промышленных предприятий. В этой ситуации особо актуальным становится вопрос исследования рефакторинга БД как метода радикальных преобразований сложившейся структуры БД промышленных предприятий. При этом следует принимать во внимание, что необходимым условием эффективной деятельности ИС предприятия является не только последовательное осуществление рефакторинга БД, но и его объективная оценка.

Таким образом, в современных условиях роль рефакторинга БД промышленных предприятий приобретает актуальных характер. Данный метод позволит преодолеть инерционность в управлении, и изменить существующие бизнес-процессы, что позволит успешно адаптироваться к современным условиям хозяйствования и устранить системную проблему в отрасли.

Необходимость нивелировать разрыв между теорией и практикой, недостаточность методической разработанности, и возрастающая практическая значимость предопределили выбор темы и основных направлений диссертационного исследования.

В процессе проектирования структуры реляционной БД у проектировщика есть только один объективный критерий оценки проекта -это соответствие всех таблиц в БД пятой нормальной форме (5НФ). Но если все таблицы находятся в 5НФ, то количество таблиц в базе данных максимально возможное. А в этом случае, падает производительность ИС, т.к. выборка данных из нескольких таблиц происходит медленнее, чем из одной. И растет стоимость разработки ИС.

Для того чтобы понять почему многие веб-разработчики не используют классический метод проектирования и понять, можно ли улучшить классический метод или разработать альтернативный, необходимо произвести детальный анализ классического метода.

Проектирование логической структуры реляционной базы данных осуществляется на основе модели «сущность-связь» П. Чена [11] или расширенной реляционной модели Э. Кодда [12]. Методы проектирования описаны в работах П. Чена, Э. Кодда, К. Дж. Дейта [4], Р. Фагина [1], Д. Кренке [5], Г. Гарсиа-Молина [6] и др. Данные модели «сущность-связь» не имеют формальных определений сущности и атрибута сущности, а также не учитывают функциональных требований к ИС на стадии проектирования. Для каких-то приложений, возможно, такой подход и является правильным, когда мы абстрагируемся от операций над данными и моделируем только сами данные. Например, когда функциональные требования заранее не известны, и ИС постоянно пополняется новыми функциональными требованиями. Но для веб-приложений основой являются функциональные требования к ним, описанные в техническом задании (ТЗ). На основе технического задания происходит оценка стоимости проекта. И если делать структуру БД на все случаи жизни без учета конкретных функциональных требований, то будет расти и стоимость проекта.

Существующий классический метод проектирования логической структуры реляционной базы данных имеют следующие недостатки:

1. Сложность и трудоемкость идентификации функциональных зависимостей.

2. Зависимость конечного результата проектирования от опыта и субъективного взгляда проектировщика, а не от метода проектирования.

3. Проблема идентификации сущностей и атрибутов сущностей.

В существующей модели «сущность-связь» невозможно формально идентифицировать является ли объект предметной области сущностью или атрибутом сущности, что вызывает необходимость проводить нормализацию таблиц, которая основывается на функциональных зависимостях. При значительном количестве классов сущностей и атрибутов количество всевозможных функциональных зависимостей существенно возрастает. Как правило, на практике все функциональные зависимости не рассматриваются, и не все таблицы проходят процесс нормализации из-за экономии времени, что может приводить к ошибкам на этапе проектирования. Для устранения этих ошибок на последующих этапах разработки информационных систем требуются значительные затраты временных и человеческих ресурсов.

Указанные недостатки и проблемы определяют актуальность разработки метода проектирования логической структуры реляционной базы данных устраняющего ошибки проектирования, соответствующего практическим реалиям и значительно снижающего трудозатраты.

ЦЕЛЬ ДИССЕРТАЦИОННОЙ РАБОТЫ

Целью диссертационной работы является снижение затрат на создание и сопровождение информационных систем за счет разработки и использования метода проектирования логической структуры реляционной базы данных для приложений, основанного на функциональных требованиях к программному обеспечению.

ОБЪЕКТ ИССЛЕДОВАНИЯ

Объектом исследований является методы проектирования структуры реляционной базы данных, процессы разработки информационных систем, обеспечивающие автоматизацию управления промышленным производством на базе современных информационно-коммуникационных технологий.

ПРЕДМЕТ ИССЛЕДОВАНИЯ

Предметом исследования являются базы данных систем автоматизации деятельности промышленных предприятий, обеспечивающие повышение эффективности его деятельности, за счет применения современных информационных систем и технологий.

МЕТОДЫ ИССЛЕДОВАНИЯ

Результаты диссертационной работы получены на основе использования комплексного использования теории множеств, теории отношений, методов кластерного анализа, теории баз данных, методов проектирования реляционных баз данных, методов объектно-ориентированного анализа и проектирования, структурного метода проектирования, дискретной математики.

НАУЧНАЯ НОВИЗНА

Научная новизна состоит в структуризации и формализации процессов, а также разработке методов и средств проведения рефакторинга баз данных для автоматизации процесса проектирования и сопровождения баз данных промышленных предприятий.

ЗАДАЧИ РАБОТЫ

1. Проанализировать подходы к проектированию баз данных промышленных предприятий и создать методику совершенствования структур баз данных промышленных предприятий на основе методов эволюционного моделирования, рефакторинга и учетом факторов внешней и внутренней среды.

2. Исследовать и выявить особенности существующих методов и подходов совершенствования структур баз данных промышленных предприятий.

3. Разработать формализованную методику проектирования базы данных промышленного предприятия, основанную на сочетании методов классического и эволюционного проектирования.

4. Постановка, формализация и разработка метода решения задачи формирования структуры базы данных промышленного предприятия с учетом ограничений на реализуемость процесса проектирования баз данных, эффективной эксплуатации системы и однородности транзакций.

5. Разработать модели и методы динамического управления структурой базы данных промышленного предприятия, позволяющие, осуществлять поиск структуры базы данных, близкой к оптимальной.

6. Разработать научно-практические предложения по оценке структуры базы данных, позволяющие оценивать эффективность их применения в аспекте выполнения предъявленных к ним требований и с позиций обеспечения результативности системы автоматизации деятельности промышленного предприятия.

7. Провести апробацию предложенных подходов, методик и инструментов рефакторинга структур баз данных промышленных предприятий.

ДОСТОВЕРНОСТЬ ПОЛУЧЕННЫХ РЕЗУЛЬТАТОВ

Достоверность положений и выводов диссертации подтверждена результатами экспериментальных исследований и положительными результатами внедрений разработок на предприятиях: ЗАО «Русский Алкоголь», ЛВЗ «Топаз», ОАО «Мостелеком», ООО «Парламент Продакшн».

ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

Результаты проведенных научных исследований были использованы при создании систем автоматизации элементов технологических процессов на промышленных предприятиях, функционирующих на основе комплекса прикладных программ построения адаптивного информационного обеспечения и соответствующей информационной системы, автоматизирующей технологические процессы промышленного предприятия.

Применение на практике программного комплекса построения адаптивного информационного обеспечения позволило рационально спроектировать информационное обеспечение и повысить качество управления промышленным предприятием.

АПРОБАЦИЯ РЕЗУЛЬТАТОВ

Основные научные положения и результаты диссертации докладывались и обсуждались:

• на республиканских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2009-2012 гг.);

• заседаниях кафедры "Автоматизированные системы управления" МАДИ в 2009-2012 годах;

• 68-70 на научно-методических конференциях МАДИ (Москва 20092012 годы).

ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ

Применение на практике программного комплекса позволило рационально спроектировать структуру информационного обеспечения и на ее основе разработать информационную систему (ИС) для автоматизации процессов на промышленном предприятии.

Основные результаты диссертации внедрены в следующих организациях: ЗАО «Русский Алкоголь», ЛВЗ «Топаз», ОАО «Мостелеком», ООО «Парламент Продакшн».

Применение результатов работы позволило сократить сроки разработки ИС на 12-15 %, снизить их трудоемкость, автоматизировать процессы в промышленном предприятии, повысить качество управления промышленным предприятием.

Результаты диссертации использованы также в учебном процессе кафедры АСУ МАДИ при проведении лабораторных работ по курсам: "Базы и банки данных", "Проектирование ИС", а также при выполнении курсовых и дипломных проектов, связанных с вопросами автоматизации деятельности строительных предприятий.

НАУЧНЫЕ ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ

1. Формализованная методика проектирования базы данных промышленного предприятия, основанная на сочетании методов классического и эволюционного проектирования

2. Формализованная постановка и разработка метода решения задачи формирования структуры базы данных с учетом ограничений на реализуемость процесса проектирования баз данных, эффективной эксплуатации системы и однородности транзакций.

3. Модель и методы динамического управления структурой базы данных промышленного предприятия, позволяющие, осуществлять поиск рациональной структуры базы данных, близкой к оптимальной, а также назначать моменты проведения рефакторинга базы данных на основе линейной модели роста эффекта и затрат

4. Научно-практические предложения по оценке структуры базы данных, позволяющая оценивать эффективность их применения в аспекте выполнения предъявленных к ним требований и с позиций обеспечения результативности системы автоматизации деятельности промышленного предприятия.

ПУБЛИКАЦИИ

Отдельные положения диссертации отражены в шести печатных работах, в том числе три в журналах из перечня ВАК.

ОБЪЕМ РАБОТЫ И СТРУКТУРА ДИССЕРТАЦИИ

Диссертационная работа состоит из введения, 4 глав основного текста, выводы по главам, заключения, списка информационных источников из 150 наименований и приложения.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Пшеничный, Данил Андреевич

ВЫВОДЫ

1. Предложена методика выполнения рефакторинга базы данных информационной системы промышленного предприятия. Реализован разработанный алгоритм выполнения рефакторинга.

2. Спроектирована модель системы анализа как отдельной информационной системы или подсистемы основной информационной системы. Предлагаемая система обладает обратной связью, которая обеспечивает постоянное обновление и поддержание информации в актуальном состоянии, а так же постоянное улучшение качества аналитической функции и качества функции планирования рефакторинга. Данное свойство соответствует принципам эволюционной разработки;

3. Соблюдение принципов эволюционной разработки увеличивает эффективность всего процесса разработки, снижает трудоемкость, снижает временные и материальные затраты.

4. Предложены классификация операций и формализация (предписание) их выполнения. Подобная классификация не противоречит принципу внесения малых изменений. Использование малых изменений при разработке снижает сложность процесса, позволяет легко находить ошибки (при использовании тестов не всех этапах - TDD), облегчает откат изменений при выявлении их некорректности.

5. Необходимо использовать средства контроля версий. Приведен пример реализации подобного средства. Соблюдение описанных принципов разработки в сочетании с использованием средств управления версиями дает возможным поддерживать систему в рабочем состоянии на протяжении всего процесса разработки, уменьшает время восстановления предыдущего состояния в случае ошибки и упрощает процесс обнаружения причины нарушения.

6. Результаты проведенной экспериментальной проверки вариантов организации иерархии данных показали большую эффективность предложенных безрекурсивных методов по критерию производительности по сравнению с традиционными и улучшение быстродействия от 4 до 125 раз в зависимости от объема иерархических данных и глубины их вложенности. Тем не менее, безрекурсивные модели данных целесообразно использовать при большой глубине вложенности - выше 35 уровней. Чем больше количество иерархических уровней, тем больше эффективность безрекурсивных методов по сравнению с традиционными.

Список литературы диссертационного исследования кандидат технических наук Пшеничный, Данил Андреевич, 2013 год

1. Антонов A.B. Системный анализ. Методология. Построение модели: Учеб. пособие. Обнинс: ИАТЭ, 2001. 272 с.

2. Архипенков С., Голубев Д., Максименко О. Хранилища данных. М.: Диалог-МИФИ, 2002. 528 с.

3. Атре Ш. Структурный подход к организации базы данных. М.: Финансы и статистика, 1983. 312 с.

4. Бобровский С.И. Технологии Delphi 2006. Новые возможности. 1-е изд. Спб: Питер, 2006. 288 с.

5. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. 2-е изд., перераб. и доп. М.: Финансы и статистика, 1989. 351 с.

6. Буч Г., Рамбо Дж., Якобсон А. Язык UML. Руководство пользователя. СПб.: Питер, 2004. 432 с.

7. Васяева Е.С., Васяева Н.С., Синельников A.C. Особенность поддержки неопределенных типов данных в интеллектуальных информационных системах // Информационные технологии. 2006. № 6.

8. Венда В.Ф. Системы гибридного интеллекта: эволюция, психология, информатика. М.: Машиностроение, 1990. 448 с.

9. Вендров A.M. CASE технологии. Проектирование программного обеспечения экономических информационных систем. М.: Финансы и статистика, 2000. 544 с.

10. Вендров A.M. CASE технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 2000. 176 с.

11. Волова В.Н., Денисов A.A. Основы теории систем и системного анализа СПб.: СПбГТУ, 1997. 510 с.

12. Вьейра P. SQL Server 2000. Программирование в 2 ч / P. Вьейра: Часть I; пер. с англ / под ред. Молявко. С.М. М.: БИНОМ. Лаборатория знаний, 2004. 735 с.

13. Вьейра P. SQL Server 2000. Программирование в 2 ч./ Р. Вьейра: Часть II; пер. с англ / под ред. Молявко. С.М. М.: БИНОМ. Лаборатория знаний, 2004. 807 с.

14. Гарсиа-Молина Г., Ульман Дж., Уидом Дж. Системы баз данных. Полный курс / пер. с англ. М.: Издательский дом "Вильяме", 2003. 1088 с.

15. Гасаров Д.В. Интеллетальные информационные системы. М.: Высш. ш., 2003.431 с.

16. Грейвс М. Проектирование баз данных на основе XML / пер. с англ. М.: Издательский дом "Вильяме", 2002. 640 с.

17. Грэй П. Логика, алгебра и базы данных / пер. с англ. Килова Х.И. М.: Машиностроение, 1989. 368 с.

18. Данилкин C.B., Шэнь Янь. Определение целевого пространства информационных массивов // Журн. "Вопросы современной науки и практики. Университет им. В.И. Вернадского", №11(25) Тамбов, 2009. С. 27-34.

19. Дегтярев Ю.И. Системный анализ и исследования операций. М.: Высш. ш., 1996. 335 с.

20. Дейт К.Д. Введение в системы баз данных / пер. с англ. Гордиенко Ю.Г. 7-е изд. М: Вильяме, 2002. 1072 с.

21. Деметрович Я.,Кнут Е., РадоП. Автоматизированные методы спецификации / пер. с англ. М.Мир, 1989. 115 с.

22. Диго с.М. Базы данных: проектирование и использование: Учебник. М.: Финансы и статистика, 2005. 592 с.

23. Дидэ Е. Методы анализа данных / пер. с англ. М.-.Финансы и статистика, 1985. 357 с.24.