Разработка методов и средств динамической объектной репликации для синхронизации распределенных автоматизированных систем управления технологическими процессами тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Степанов, Андрей Михайлович

• Степанов, Андрей Михайлович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Степанов, Андрей Михайлович

Введение.

1 Анализ предметной области.

1.1 Основы систем репликации.

1.2 Синхронная репликация.

1.2.1 Распределенная блокировка данных.

1.2.2 Распределенное подтверждение изменений.

1.3 Асинхронная репликация.

1.3.1 Условия непротиворечивости.

• 1.3.2 Протоколы непротиворечивости.

1.4 Практическая реализация репликации различными СУБД.

1.4.1 Объекты репликации.

1.4.2 Механизм определения множества передаваемых данных.

1.4.3 Фильтрация данных.

1.4.4 Синхронная и асинхронная репликация.

1.4.5 Разрешение конфликтов.

1.4.6 Гетерогенная репликация.

1.4.7 Требования к среде передачи информации.

1.4.8 Безопасность.

1.4.9 Дополнительные возможности репликации.

1.5 Выводы.

2 Формализация динамической объектной репликации.

2.1 Общая архитектура.

2.2 Графовая модель объектов.

2.3 Аннулирование объектов.

2.4 Маршрутизация.

2.5 Модель транзакций.

2.6 Непротиворечивость.

2.7 Выводы.

3 Практическая реализация репликации.

3.1 Определение изменения объекта.

3.2 Алгоритм обработки кортежей объекта.

3.3 Пакетная передача данных.

3.4 Алгоритмы маршрутизации.

3.4.1 Определение маршрута без сохранения истории рассылки.

3.4.2 Модифицированный алгоритм определения маршрута.

3.4.3 Построение функции маршрутизации с учетом наследования.

3.4.4 Протоколы аннулирования объекта.

3.4.5 Протокол первичной копии.

3.5 Алгоритмы актуализации.

3.5.1 Обработка конфликтов.

3.5.2 Копирование объекта из буферов репликации в БД.

3.5.3 Обработка нарушения целостности ссылок.

3.6 Алгоритмы транспортировки.

3.6.1 Формирование сообщений транспортного уровня.

3.6.2 Надежная доставка данных.

3.6.3 Очистка репликационных таблиц.

3.7 Программная реализация репликации.

3.7.1 Реализация базовой части.

3.7.2 Реализация транспортной части.

3.8 Выводы.

4 Экспериментальное исследование разработанной модели и методов.

4.1 Конфигурация тестируемой системы.

4.2 Система моделирования нагрузки.

4.3 Настройки системы репликации.

4.4 Проведение измерений.

4.4.1 Замедление пользовательских транзакций записи.

4.4.2 Подготовка данных.

4.4.3 Актуализация данных.

4.4.4 Формирование отправляемых данных.

4.4.5 Запись полученных данных в БД.

4.5 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка методов и средств динамической объектной репликации для синхронизации распределенных автоматизированных систем управления технологическими процессами»

Автоматизация технологических процессов и управление производством на основе современных программно-аппаратных комплексов составляет одно из главных направлений научно-технического прогресса. Создание на научной основе автоматизированных систем управления технологическими процессами (АСУ ТП), их интеграция в единую систему сбора и обработки данных и оперативного управления повышает качество и эффективность всех звеньев управления производством в народном хозяйстве.

Задача построения распределенных систем не является новой, поэтому на текущий момент существует большое количество теоретических исследований, а также практически реализованных программных средств, позволяющих осуществлять построение распределенных БД и систем управления ими. Значительный вклад в развитие теории БД и создание эффективных СУБД внесли К. Дейт, Э.Ф. Кодд, Д. Кренке, М.Р. Когаловский, JI.A. Калиниченко. Теории и практике автоматизированных распределенных систем посвящены труды С.Д. Кузнецова, Е.М. Бениаминова, В.В. Кульбы, С.С. Ковалевского, С.А. Косяченко, В.О. Сиротюка, Н.Д. Дубового, А.С. Бондаревского.

При создании распределенных АСУ ТП возникает задача по реализации автоматического обмена между удаленными базами данных (БД). На текущий момент многие реляционные системы управления базами данных (СУБД) поддерживают репликацию данных.

Несмотря на разнообразие средств репликации, они обладают следующими недостатками:

• Сложность настройки. Как правило, конфигурирование системы репликации требует от администратора очень высокой квалификации и хорошего знания структуры БД, что приводит к значительным временным и финансовым затратам при настройке синхронизации БД со сложной структурой.

• Невозможность реализации динамической репликации, предполагающей определение правил распространения данных, вычисляемых на основании самих копируемых данных. Существующие системы ограничены статическими схемами фильтрации передаваемых данных, что сильно снижает их гибкость.

• Отсутствие поддержки непротиворечивости на уровне объектов. Существуют ситуации, при которых одновременное изменение одной и той же записи в различных БД нарушает целостность объектов приложения, несмотря на поддержку непротиворечивости отдельных записей. Подобные конфликты принципиально неразрешимы на уровне существующих систем репликации, поскольку проблема возникает только на уровне логики приложения. Устранение перечисленных недостатков в рамках существующих систем сильно затруднено, поскольку это требует создания программной надстройки над модулем репликации, осуществляющей его взаимодействие с пользовательским приложением. Для реализации подобной надстройки требуется возможность детального управления процессом передачи данных, что практически неосуществимо при использовании законченных программных продуктов.

В силу этого представляются актуальными исследования, направленные на разработку эффективных методов и средств динамической объектной репликации с целью повышения гибкости использования распределенных АСУ ТП и уровня непротиворечивости хранимых данных. Таким образом, объектом исследований являются распределенные АСУ ТП. Предмет исследований - репликация данных в распределенных АСУ ТП.

Цель работы заключается в разработке моделей и методов динамически настраиваемого межсерверного обмена, создании эффективных алгоритмов управления распределенными базами данных, обеспечивающих функционирование АСУ ТП в условиях отсутствия стабильных каналов связи.

Теоретические методы исследования базируются на фундаментальных положениях теории математической статистики и принципах управления реляционными базами данных.

Научная новизна работы состоит в разработке моделей, методов и алгоритмов динамической объектной репликации, позволяющих увеличить гибкость управления распределенными АСУ ТП, а также повысить уровень непротиворечивости данных за счет применения объектно-ориентированного подхода. В ходе выполнения диссертационной работы получен ряд новых научных результатов. При этом разработаны:

• Графовая модель представления данных реляционной БД в виде объектов, по сравнению с репликацией кортежей расширяющая возможности синхронизации данных за счет наличия связей между отношениями, что повышает уровень непротиворечивости данных, а также сокращает среднее время настройки правил обмена сложного объекта в 5-12 раз.

• Метод наследования классов, позволяющий снизить избыточность описания структуры хранимых данных в среднем в 2-3 раза.

• Метод реализации объектной FIFO непротиворечивости, основанный на графовом представлении данных, повышающий непротиворечивость данных по сравнению с FIFO непротиворечивостью репликации отдельных кортежей или транзакций.

• Алгоритмы динамической маршрутизации для произвольного перенаправления информационных потоков в зависимости от состояния хранимых данных.

• Алгоритм разрешения конфликтов одновременного изменения информации, предоставляющий повышенные гарантии непротиворечивости данных.

• Алгоритм пакетного обмена для выборки, записи, шифрования и сжатия информации, обеспечивающий снижение сетевого обмена на 60%. Практическая значимость результатов работы заключается в использовании разработанной модели, методов и алгоритмов в АСУ ТП компании ЗАО

Таймырская топливная компания». Система объединяет предприятия компании, расположенные в Москве, Красноярском крае, Норильском промышленном районе и на Кольском полуострове. Применение полученных результатов позволило реформировать товаропроводящую сеть за счет организации единого информационного пространства для всех предприятий компании. Унификация документооборота и информационная поддержка бизнес-процессов привели к повышению уровня логистического сервиса, снижению страховых запасов топлива на 10-15%. Уровень операционных затрат понижен на 5-10%, при этом время настройки репликации в 5-12 раз меньше времени, затрачиваемого при использовании стандартных средств администрирования СУБД. Перечисленные результаты получены в отсутствие высоких требований к качеству каналов связи, что особенно критично при использовании комплекса в условиях Крайнего Севера. Кроме того, результаты работы использованы в научно-исследовательской работе МИЭТ.

Достоверность полученных результатов подтверждается хорошим совпадением теоретически рассчитанных и практически полученных результатов, а также успешной промышленной эксплуатацией комплекса, созданного с использованием разработанных в диссертации методов и средств.

Личный вклад автора. Все основные результаты получены автором лично. Главными из них являются:

• Графовая модель представления данных реляционной БД в виде объектов.

• Метод наследования классов.

• Метод реализации объектной FIFO непротиворечивости, основанный на графовом представлении данных.

• Алгоритмы динамической маршрутизации.

• Алгоритм разрешения конфликтов одновременного изменения данных.

• Алгоритм пакетного обмена.

• Практическая реализация методов и средств динамической объектной репликации в промышленной распределенной АСУ ТП ЗАО «Таймырская топливная компания».

Автор диссертации принимал активное участие в разработке документации, методики испытаний и проведении установочных и сопроводительных работ в местах эксплуатации АСУ ТП ЗАО «Таймырская топливная компания».

Внедрение результатов работы. Разработанные в ходе выполнения диссертационной работы методы и средства внедрены в АСУ ТП ЗАО «Таймырская топливная компания», что позволило снизить уровень требуемых страховых запасов топлива на 10-15% и уменьшить операционные затраты на 510%. Результаты работы также использованы в научно-исследовательской работе МИЭТ в рамках договора на разработку модулей автоматизированной информационной системы учета движения материальных ценностей № 2157 от 01.09.2001.

На защиту выносятся:

1. Графовая модель представления объектов реляционной БД.

2. Метод наследования классов реплицируемых данных.

3. Метод реализации объектной FIFO непротиворечивости.

4. Алгоритмы динамической объектной репликации, реализующие предложенные в работе методы.

5. Результаты экспериментальных исследований и промышленного внедрения результатов работы.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на трех Всероссийских межвузовских научно-технических конференциях студентов и аспирантов «Микроэлектроника и информатика» (г. Москва, Зеленоград, Московский институт электронной техники), международной научно-технической конференции «Электроника и информатика 2002» (г. Москва, Зеленоград, Московский институт электронной техники) и международной научно-технической конференции «Новые информационные технологии и системы 2006» (г. Пенза, Пензенский государственный университет). Доклад на 13-й Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика - 2006» отмечен дипломом 1-й степени по секции «Автоматизированные информационные системы».

Публикации. Основное содержание диссертационной работы отражено в 10 работах, в том числе в 5 статьях и 5 тезисах докладов на Всероссийских конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Содержит 154 страницы машинописного текста, 26 страниц с рисунками и таблицами, список литературы из 82 наименований.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Степанов, Андрей Михайлович

9. Результаты работы внедрены в АСУ ТП ЗАО «Таймырская топливная компания», которая объединяет предприятия компании, расположенные в Москве, Красноярском крае, Норильском промышленном районе и на Кольском полуострове. Внедрение результатов работы позволило снизить уровень требуемых страховых запасов топлива на 10-15% и уменьшить операционные затраты на 5-10%. Кроме того, результаты работы использованы в научно-исследовательской работе МИЭТ.

10. Разработанные методы и средства позволяют повысить гибкость и снизить время настройки синхронизации распределенных БД со сложной структурой и правилами обмена, что позволяет рекомендовать их применение для построения распределенных информационных и управляющих систем различного уровня, включая системы федерального масштаба.

Заключение

В ходе выполнения диссертационной работы были получены следующие научные и практические результаты:

1. Проведен анализ существующих решений в области создания распределенных информационных систем, который выявил ряд недостатков, в числе которых недостаточная гибкость, удобство и низкая надежность при работе в условиях отсутствия стабильных каналов связи.

2. На основе анализа существующих решений сделан вывод о необходимости разработки динамической объектной репликации, учитывающей связи между отношениями и позволяющей динамически изменять правила межсерверного обмена.

3. Для описания структуры объектов предложена графовая модель классов, позволившая сократить среднее время настройки правил обмена сложного объекта в 5-12 раз по сравнению с использованием стандартных средств СУБД. Граф класса представляет собой множество отношений и связывающих их ребер, которые описывают последовательность выборки кортежей и условия их связи.

4. Предложен метод наследования, обеспечивающий устранение избыточности описания классов и упрощение администрирования системы репликации за счет выделения повторяющихся фрагментов классов в один базовый класс, что снижает избыточность описания структуры хранимых данных в среднем в 2-3 раза. Также его применение позволяет упростить и в то же время сделать более гибкой настройку правил репликации. Для этого определяется способ наследования правил маршрутизации с возможностью их переопределения в дочерних классах.

5. Разработан метод реализации объектной FIFO непротиворечивости, повышающий непротиворечивость данных по сравнению с FIFO непротиворечивостью репликации отдельных кортежей или транзакций.

6. Созданы эффективные алгоритмы динамической маршрутизации, разрешения конфликтов и пакетного обмена данными, реализующие предлагаемую модель и методы репликации.

7. Выполнена практическая реализация программного комплекса на основе предложенных в работе методов и средств для ОС Windows 2000 с использованием СУБД Oracle. Наряду с основными алгоритмами репликации реализовано сжатие и шифрование передаваемых по сети данных, что позволило уменьшить их объем на 60%.

8. В ходе проведения экспериментальных исследований подтверждена эффективность разработанных методов и алгоритмов.

Список литературы диссертационного исследования кандидат технических наук Степанов, Андрей Михайлович, 2006 год

1. Аншина М., Цимбал А. Технологии создания распределенных систем. -СПб.: Питер, 2002.-576 с.

2. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983. - 320 с.

3. Ахтырченко К.В., Леонтьев В.В. Распределенные объектные технологии в информационных системах // СУБД. 1997 .- №5. - с. 24-28.

4. Беренсон X., Бернштейн Ф., Грэй Д. Критика уровней изолированности в стандарте ANSI SQL // СУБД. 1996. - №2. - с.45-60.

5. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. М.: Финансы и статистика, 1989. - 351 с.

6. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд. / Пер. С англ. М.: Бином, 1999 560 с.

7. Галицкий А. В., Рябко С. Д., Шаньгин В. Ф. Защита информации в сети. Анализ технологий и синтез решений. М.-ДМК Пресс, 2004 г. - 616 с.

8. Дейт К. Дж. Введение в СУБД. М.: изд. дом Вильяме, 2001. - 1072 с.

9. Домашев А.В., Попов В.О., Правиков Д.И. Программирование алгоритмов защиты информации. Учебное пособие. М.: «Нолидж», 2000. - 288 с

10. Кайт Т. Oracle для профессионалов. СПб.: ООО «ДиаСофтЮП», 2003. -672 с.

11. Каратыгин С.А., Степанов A.M. Построение подсистемы автоматической отправки данных в системе межсерверного обмена // Межвузовский сборник «информатика и управление» под ред. В.А. Бархоткина. М.: МИЭТ, 2005 .с. 203-208.

12. Каратыгин С.А., Степанов A.M. Построение подсистемы автоматического приема данных в системе межсерверного обмена // Оборонный комплекс -научно-техническому прогрессу России. М.: ФГУП "ВИМИ", 2005. - №4. -с. 52-55.

13. Каратыгин С.А. Степанов A.M. Современные средства репликации баз данных // Вестник компьютерных и информационных технологий. -М. Машиностроение, 2006. №2. - с. 52-56.

14. Каратыгин С.А. Степанов A.M. Построение и обработка деревьев сущностей реляционных баз данных // Оборонный комплекс научно-техническому прогрессу России. - М.: ФГУП "ВИМИ", 2006. -№1. - с. 14-17.

15. Кузнецов С.Д. Стандарты языка реляционных баз данных SQL: краткий обзор // СУБД. 1996. - №2. - с. 6-36.

16. Кузнецов С.Д. Операционные системы для управления базами данных // СУБД. 1996. -№3. - с. 95-102.

17. Кузнецов С.Д. Дубликаты, неопределенные значения, первичные и возможные ключи и другие экзотические прелести языка SQL //СУБД. -1997. -№3.- с. 77-80.

18. Ладыженский Г.М. Системы управления базами данных коротко о главном //СУБД.- 1995.-№1,2,3,4.

19. Луковенко А., Фаритов А. Практическая репликация // Открытые системы. -2001.-№ 12.-с. 26-28.

20. Мартин Д. Планирование развития автоматизированных систем. М.: Финансы и статистика, 1984. - 196 с.

21. Мейер М. Теория реляционных баз данных. М.: Мир, 1987. - 608 с.

22. Нагао М., Катаяма Т., Уэмура С. Структуры и базы данных. М.: Мир, 1986. -197 с.

23. Оззу М.Т., Валдуриз П. Распределенные и параллельные системы баз данных // СУБД. 1996. - №4. - с. 4-26.

24. Романец Ю.В., Тимофеев П.А., Шаньгин В.Ф. Защита информации в компьютерных системах и сетях / Под ред. В.Ф. Шаньгина. М.: Радио и связь, 1999.-328 с

25. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

26. Таненбаум Э. Современные операционные системы. 2-е изд. СПб.: Питер, 2005.- 1038 с.

27. Тиори Т., Фрай Д. Проектирование структур баз данных. В 2 кн., М.: Мир, 1985. Кн. 1.-287 е.: Кн. 2.-320 с.

28. Чаудхари С. Методы оптимизации запросов в реляционных системах // СУБД. 1998. - №3. - с. 22-36.

29. Янчук А.В. Репликация. Технология синхронизации распределенных баз данных. Казань: «Современные Технологии», 1999.34