Разработка виртуальной вычислительной лаборатории для решения научно-технических задач горного производства тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Попов, Семен Евгеньевич

• Попов, Семен Евгеньевич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Попов, Семен Евгеньевич

Введение.

1. Анализ информационных технологий в рамках их интеграции в единую виртуальную среду.

1.1. Современные информационные технологии для задач горного производства.

1.2. Обзор корпоративных архитектур распределенных объектов применительно к теме работы.

Вызов удаленных процедур (RPC).

Java Servlets /ASP.

CORBA/DCOM.

NETFramework (.NETRemoting) .•.

1.3 Вопросы решения научно-технических задач в распределенном режиме.

1.4 Выводы по главе.

2. Научно-технические задачи, решаемые в рамках ВВЛ.

2.1.Решение задач горного производства в рамках ВВЛ. Научная постановка проблемы.

2.2.Примеры научно-технических задач и обоснование их решения в рамках ВВЛ.

Энтропийный анализ. Определение рейтингов объектов, прямая и обратная задачи.

Расчет горного давления. Аналитическое описание приращений смещений.

Некоторые задачи ГИС.

2.3.Выводы по главе.

3. Концепция виртуально-вычислительных лабораторий.

3.1 .Формальный подход к решению задач в распределенном режиме.

3.1.1. Основные элементы архитектуры распределенных приложений .NET Remoting.

3.1.2. Процесс «сериализации/десериализации» объектов.

3.1.3. Процедура «маршалинга» объектов.

3.2.Интеграция научно-технических и программных средств, в рамках распределенной системы.

3.2.1. Удаленное взаимодействие с интегрированными системами для горных предприятий.

3.2.2. Интеграция систем доступа к картографической информации и расчетных модулей задачи на основе Интернет технологий. у- 3.2.3. Организация и внедрение систем справочной документации и интерактивного обсуждения решений.

3.3.Структурная UML-модель программного комплекса «Виртуальная вычислительная лаборатория».

3.4.Выводы по главе.

4. Программная реализация системы.

4.1. Серверная реализация на базе Интернет/Интранет технологий.

4.2.Программная привязка расчетных модулей к объектам электронных карт.

4.3. Решение нестандартных и геометрических задач ГИС.

4.3.1. Модуль взаимодействия с интегрированными системами для горных предприятий.

4.3.2. Модуль взаимодействия с базами пространственных данных на основе Oracle Spatial.

4.3.3. Модуль работы с картографической информацией в глобальных сетях.

4.4.Специализированные модули BBJI.

4.5.Модули задач.

4.5.1. Модуль «Энтропийный анализ».

4.5.2. Модуль «Горное давление».

4.6.Программный комплекс «Виртуально-вычислительная лаборатория».

4.7.Выводы по главе.

Введение диссертации (часть автореферата) на тему «Разработка виртуальной вычислительной лаборатории для решения научно-технических задач горного производства»

Актуальность проблемы. Современные информационные технологии и компьютерные телекоммуникации открывают принципиально новые возможности формирования единого информационного пространства, обеспечивая поддержку научного сопровождения и решения сложных научно-технических задач горного дела.

В настоящее время за счет нарастания информационных потоков, усложнения горно-геологических и технологических условий и газодинамической обстановки возрастает потребность в объединении усилий ученых и производственников для решения комплекса предметных задач. Это требует объединения возможностей работы с распределенными базами данных и математико-вычислительными системами, ориентированными на решение научно-технических задач.

В угольной промышленности уже на протяжении 20 лет различными коллективами ученых (ИУУ СО РАН, ИГД СО РАН, ИГД УРО и др.) создаются базы данных и разрабатываются научно-исследовательские программы для решения широкого круга прикладных задач горного производства. В тоже время практически не предпринято усилий по их интеграции в единые системы с учетом ориентации на определенный круг прикладных задач и возможности совместного использования полученных научно-технических результатов.

Решение этой важной задачи заключается в создании виртуальных вычислительных лабораторий (BBJ1) по предметным областям горного производства, которые интегрируют пространственно-распределенные информационные источники (базы данных, электронные карты, снимки и др.) и совокупность программных модулей, методов, задач и технологий, в рамках единых распределенных информационно-вычислительных сред.

Таким образом, создание виртуальных вычислительных лабораторий на принципах предметно-ориентированного единства вне зависимости от пространственного размещения информационных источников, методов и средств решения научно-технических задач, объектов и субъектов, взаимодействующих в процессах их решения является актуальной научной задачей, имеющей важное практическое значение, для разработки нового класса прикладных программных комплексов решения задач горного дела.

Целью работы является создание программного комплекса «Виртуальная вычислительная лаборатория» для решения научно-технических задач горного производства в условиях распределенности самих задач, информационных источников и программных средств, методов и технологий по их решению.

Идея работы базируется на архитектурах распределенных вычислительных доменов приложений (.NET Remoting) и их интеграции с распределенными базами данных, методами и модулями задач предметной области и предметными картографическими системами.

Задачи исследования:

1. Провести анализ основных программных средств и информационных технологий для горного производства и обосновать их применение и место в виртуальной распределенной среде для решения научно-технических задач.

2. Разработать методологические основы реализации системы распределенных вычислений в виде интеграционной виртуальной вычислительной среды.

3. Построить информационно-логическую модель виртуальной вычислительной лаборатории в виде объектно-связанных компонентов.

4. Разработать алгоритмы решения конкретных научно-технических задач в распределенном режиме и реализовать их в виде комплекса проблемно-ориентированных программ.

5. Исследовать возможности применения виртуальной вычислительной лаборатории для решения различных научно-технических задач.

Методы исследования:

- метод унифицированных нотаций для разработки структурной UML-модели программного комплекса «Виртуальная вычислительная лаборатория»;

- теория реляционных баз данных для создания баз пространственных данных на основе ORACLE Spatial;

- объектно-ориентированный подход для программной реализации классов и методов системы;

- теория объектно-ориентированных решений для распределенных систем и удаленных вычислений для внедрения возможности сетевого взаимодействия классов системы;

Основные научные положения, выносимые на защиту:

1. Сформулированные методологические требования к программному комплексу и решаемым в его рамках научно-техническим задачам создают необходимые и достаточные условия для реализации последнего в виде интегрированной, распределенной виртуальной вычислительной лаборатории.

2. Структурная модель виртуальной вычислительной лаборатории на стадии проектирования генерирует предметно-ориентированные комплексы программных модулей, адаптируемые к удаленным решениям прикладных задач горного производства в распределенной вычислительной среде.

3. Разработка программного комплекса на основе функциональной кластеризации компонентов и многоуровневого распределения, формирует общий алгоритм решения в удаленном режиме большинства научно-технических задач предметной области.

4. Программный комплекс «Виртуальная вычислительная лаборатория» обладает всеми необходимыми качествами и свойствами интеграционного пакета прикладных программ (распределенной информационной системы) со стандартными протоколами функционирования своих приложений (TCP и

HTTP) и имеет встроенные механизмы внутреннего развития и внешнего расширения сферы применения.

Научная новизна заключается в следующем:

1. На базе виртуальной вычислительной лаборатории создана принципиально новая вычислительная среда, обеспечивающая интеграцию пространственно распределенных данных, программных алгоритмов решения задач горного производства и картографических систем.

2. Впервые создана структурная UML-модель предметноориентированной виртуальной вычислительной лаборатории.

3. Разработана новая методология привязки картографических «единиц горного производства» (шахта, скважина и т.д.) и реляционных единиц обрабатывающих вычислительных модулей прикладных задач, на базе, которой построен вычислительный программный комплекс взаимодействия с ГИС.

4. Создана объектно-ориентированная модель классов распределенных расчетных модулей, ориентированных на прикладную логику предметных г задач.

5. Разработана программная среда-оболочка для интеграции и обслуживания расчетных модулей задач, ориентированных на предметную область (горное дело).

Достоверность и обоснованность полученных результатов обеспечивается использованием проверенных методов и теорий:

- теория объектно-ориентированного анализа и проектирования;

- классические методы объектно-ориентированного программирования;

- теория построения реляционных баз данных.

Гарантируется использованием проверенных технологий удаленного взаимодействия объектов: инфраструктуры .NET Framework и .NET Remoting.

Подтверждается устойчивой работой системы распределенных вычислений, развернутой в локальной сети передачи данных ИУУ СО РАН.

Личный вклад автора состоит:

- в исследовании и разработке интегрированной виртуальной вычислительной среды для решения научно-технических задач горного производства;

- в разработке структурной UML-модели виртуальной вычислительной лаборатории;

- в разработке ГИС-компонентов виртуальной вычислительной лаборатории на основе принципа «привязки» объектов электронных карт к расчетным модулям задачи;

- в исследовании и разработке удаленного доступа к пространственным данным, в рамках BBJ1 при распределенном решении

А. задач ГИС;

- в исследовании и реализации возможности внедрения в расчетный кластер BBJI интегрированных систем для горного производства сторонних разработчиков, как вспомогательных компонентов.

Практическая значимость:

- Разработана методика построения виртуальных вычислительных лабораторий, позволяющая интегрировать разнородные программные средства решения научно-технических и производственных задач и пространственно распределенные картографические и реляционные хранилища данных. г - Разработаны унифицированные модули ВВЛ, которые могут быть использованы для развития программного комплекса в направлении создания программных решений новых научно-технических задач, как горного производства, так и других предметных областей.

BBJI обеспечивает доступность удаленных информационных массивов для угольных предприятий и научных учреждений в динамическом режиме, тем самым, позволяя получать и использовать их в качестве исходных данных для решения своих задач.

Разработанный на базе BBJ1 распределенный ГИС-сервер позволяет организовать в локальной сети передачи данных ИУУ СО РАН динамический доступ к электронным картам и решение на их основе пространственных задач ГИС.

Реализация работы. Разработан и внедрен в среду локальной сети передачи данных ИУУ СО РАН распределенный ГИС-сервер. Разработан программный комплекс BBJI в виде расчетных модулей задач энтропийного анализа и расчета горного давления; универсальный распределенный модуль доступа к источникам данных (СУБД ORACLE, Microsoft SQL Server, Microsoft Indexing Services, Microsoft Access и др.), модуль маршрутизации вызовов к web-сервисам, модуль безопасности вызовов к web-сервисам на основе Х.509 сертификатов. Модули реализованы и функционируют в рамках СПД ИУУ СО РАН.

Апробация работы. Основное содержание работы, а также отдельные ее положения докладывались и обсуждались на следующих научных конференциях: Информационные недра Кузбасса (г. Кемерово, 2004), Информационно-вычислительные технологии в фундаментальных и прикладных физико-математических исследованиях (ИВТН-2004, г. Москва, 2004), Вычислительные и информационные технологии в науке, технике и образовании ВИТ-2004 (Казахстан, г. Алма-Ата, 2004), Рабочее Совещание "Распределенные информационно-вычислительные ресурсы и математическое моделирование" (Академгородок, г. Новосибирск, 2004), t" Энергетическая безопасность России. Новые подходы к развитию угольной промышленности (г. Кемерово, 2004), Научная сессия Кемеровского научного центра СО РАН (г. Кемерово, 2005), Энергетическая безопасность России. Новые подходы к развитию угольной промышленности (г. Кемерово, 2005).

Во Введении дано обоснование актуальности темы диссертации, сформулированы цели и идея работы, задачи и методы исследования, научная новизна, практическая значимость работы и положения, выносимые на защиту.

В первой главе дан анализ информационных технологий в рамках их интеграции в единую виртуальную среду. Приводится классификация компьютерных технологий для горного производства и реферативный обзор корпоративных архитектур распределенных объектов. Рассматриваются вопросы решения научно-технических задач в распределенном режиме.

Во второй главе речь идет о типах задач решаемых в рамках виртуальной вычислительной лаборатории. Рассматриваются примеры таких задач и определяются их основные свойства в рамках ВВЛ.

В третьей главе определяется формальный подход к решению научнотехнических задач в рамках ВВЛ, в котором рассмотрены основные элементы архитектуры распределенных объектов .NET Remoting, Показаны и обоснованы алгоритмы интеграции сторонних программных компонентов для горного производства в виртуальную среду, а также, возможности online-обсуждения результатов решения. Построена концептуальная модель программного комплекса ВВЛ.

В четвертой главе приводится программная реализация системы. Дано описание различных модулей системы, с точки зрения их функционирования в средах Интернет и Интранет. Дано обоснование программного комплекса ВВЛ на основе его программной реализации, как интегрирующей мульти-компонентной распределенной системы.

В приложении 1 приведен полный вариант UML-проекта ВВЛ.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Попов, Семен Евгеньевич

4.7. Выводы по главе

1. Разработка функциональных модулей ВВЛ одновременно в виде объектов, коммуникационная часть которых с одной стороны представлена уровнями BusinessFacade Layer и SystemFramework Layer, а с другой уровнем WebService Layer, позволяет сделать программный комплекс более гибким, масштабируемым и устойчивым к различному виду сетевым изменениям, с точки зрения пользовательских взаимодействий.

2. Программная «привязка» картографических объектов к расчетным модулям системы позволяет расширить функциональные возможности систем публикации электронных карт в Интернете, превратив последние из простого модуля со стандартным набором статических функций по работе с изображением карт, в динамический модуль с возможностью подключения различных программных алгоритмов по решению, как пространственных задач ГИС, так и различных задач по горной тематике.

3. Разработанный модуль маршрутизации позволил расширить масштабируемость систем и упростить процесс развертывания объектов уровня WebService Layer за счет организации схем маршрутизации клиентских вызовов в виде конфигурационных файлов XML-формата.

4. Разработка собственных объектных единиц безопасности на основе базовых классов WSE-Security обеспечила более гибкий контроль над процессом идентификации пользователей и содержимым их вызовов.

5. Методы сервера решений однозначным образом определяют и обрабатывают решение (переменные-структуры) за счет параметризации первых уникальным идентификатором активизируемого пользователем объекта расчетного модуля и имени пользователя, что позволяет сохранять последние в кэше решений раздельно и независимо друг от друга.

Заключение

Диссертация является научно-квалификационной работой, в которой на основании выполненных автором исследований содержится решение задачи разработки программного комплекса виртуальных вычислительных лабораторий для научно-технических задач горного производства, имеющей существенное значение для объектно-ориентированного моделирования предметных областей производства.

Результаты диссертационных исследований позволяют сделать / следующие основные выводы:

4. Сформулированные требования к проекту ВВЛ наиболее полно учитывает типовые и специфические особенности современных подходов к разработке интегрированных распределенных сред, а их непротиворечивое обеспечение в соответствующих разделах проекта — это гарантия успешного функционирования среды в режимах пространственно-распределенных вычислений.

2. Технология .NET Remoting, положенная в основу программного комплекса ВВЛ, в наибольшей степени удовлетворяет сформулированным требованиям к проекту ВВЛ, поскольку содержит необходимые механизмы (маршалинг и сериализация), минимизирующие рутинный процесс разработки авторского кода.

3. Построение концептуальной модели опирается на высокоуровневые компонентные структуры (кластер, логический уровень, пакет, модуль, транспорт, канал и т.п.), которые путем установления взаимосвязей (расширения, зависимости, использования и ассоциативности), автоматически предопределяют объектно-ориентированную структуру модели ВВЛ, занимающую промежуточный этап в процессе разработки программного кода, что существенно сокращает время на создание «каркасов» программных единиц (классов и методов).

4. В виду того, что большинство интегрированных систем для горных предприятий реализуют свои системы с поддержкой технологий OLE

Automation, то, проектирование расчетных модулей серверных уровней (BusinessRules Layer и BusinessFacade Layer) как интерфейсов оболочки вызовов функций OLE Automation, позволяет адаптировать программный комплекс BBJI к интегрированному взаимодействию со сторонними софт-системами для горных предприятий. То есть, с одной стороны происходит расширение круга научно-технических задач, решаемых в рамках BBJI, а с другой, предоставляется возможность конечному заказчику частично работать с этими системами в удаленном режиме, и упрощается использование технической информации имеющейся на предприятии для получения расчетных результатов по конкретному технологическому объекту.

5. Параметризация методов расчетных модулей ссылками на уникальные идентификаторы геометрических объектов и геометрические структуры, содержащие пространственные координаты картографических объектов, позволяет связывать последние с классами и методами расчетных модулей, что дает возможность использования в программном комплексе BBJI средств доступа и отображения электронных карт (технология ActiveX OLE), как интерактивного посредника между серверов расчетных модулей и клиентом.

6. Организация ядра систем опНпе-обсуждений результатов решения в рамках BBJI в виде выделенного сервера решений, позволяет экспертным группам представлять это решение в динамическом виде, а также персонализировать его для конкретного пользователя (удаленного клиента), инициализировавшего это решение, посредством уникальных идентификаторов переменных-структур классов активизируемых клиентом

7. На базе принципа кластеризации и уровневого разделения создан единый алгоритм распределенного предметного решения, адаптируемый к различным научно-техническим задачам посредством механизмов включения (добавления) или исключения функциональных модулей. Алгоритм апробирован на следующих задачах: прямая и обратная задачи энтропийного анализа, расчет горного давления, пространственные ГИС-задачи и задачи ГИС-анализа данных.

8. Разработанный пакет прикладных программ, реализующий ВВЛ, обладает следующими свойствами и характеристиками: развертывание клиентских и серверных компонентов ВВЛ происходит путем простого копирования исполняемых файлов, настройка последних осуществляется посредством текстовых конфигурационных файлов XML-формата; программный комплекс способен работать на одном сервере с возможностью географического распределения по неограниченному количеству серверов, как в локальной, так и глобальной сетях; операционная среда: серверные компоненты (Windows 2000, ХР, 2003), клиентские компоненты (Windows 98, 2000, ХР, 2003);

- сервер решений обладает графическим интерфейсом, позволяющем отслеживать и управлять имеющимися на нем «экземплярами результатов решений» встроенный ГИС-сервер, способен предоставлять электронные карты в online-режиме и решать пространственные задачи в распределенном режиме.

- распределением нагрузки управляет специализированный сервер, в который встроен модуль маршрутизации клиентских вызовов;

- задействованы два стандартных протокола (TCP и HTTP) взаимодействия приложений;

- функционирует под управлением единой инфраструктуры .NET Framework, которая гарантирует выполнение требований коммуникационного характера, изложенных главе 1 раздела 1.3 «Вопросы решения научно-технических задач в распределенном режиме» (требования 8, 10, 11, 14, 18).

9. Разработанная методология закладывает возможности дальнейшего совершенствования ВВЛ в следующих направлениях:

- развитие функциональности специализированных модулей, обеспечивающих создание собственных форматирующих приемников для передачи различных форматов сообщений и различных ргоху-серверов для обеспечения большей масштабируемости системы за счет механизмов смены канала;

- разработка единого визуального интерфейса для взаимодействия с функциональными модулями системы;

- создание развитого механизма опНпе-конференций.

Список литературы диссертационного исследования кандидат технических наук Попов, Семен Евгеньевич, 2005 год

1. Эммерих В. Конструирование распределенных объектов. Методы и средства программирования интероперабельных объектов в архитектурах OMG/CORBA, Microsoft/COM и Java/RM1. / Пер. с англ. - М.: Мир, 2002. -510 с.

2. Microsoft Corporation. Разработка распределенных объектов на Microsoft Visual Basic 6.0. Учебный курс /Пер. с англ. М.: Торгово-издательский дом «Русская редакция», 2000. - 400 с.

3. Капутин Ю. Е. Горные компьютерные технологии и геостатистика. СПб.: «Недра», 2002. 424 е.: ил.

4. Логов А. Б., Замараев Р. Ю., Логов А. А., Анализ функционального состояния промышленных объектов в фазовом пространстве. Институт угля и углехимии СО РАН, Кемерово: 2004. 168 с.

5. Логов А.Б., Кочетков В.Н., Рожков А.А. Энтропийный подход к моделированию процесса реструктуризации угольной отрасли. Институт Угля и Углехимии СО РАН, Кемерово-М.: 2001. 324 с.

6. Грицко Г.И., Власенко Б.В., Посохов Г.Е. и др. Прогнозирование и расчет горного давления. Новосибирск: Наука, 1980. - 160 с.

7. Шек В.М. Объектно-ориентированное моделирование горнопромышленных систем. —Учеб. Пособие. — М.: Издательство Московского государственного горного университета, 2000. — 304 с.

8. Потапов В.П. Математическое и информационное моделирование геосистем угольных предприятий. Новосибирск: Изд-во СО РАН, 1999. — 180 с.

9. Тодд Л. CCNA: CISCO Certified Network Associate. Учебное руководство. Второе издание, 2002.-576 с.

10. Либерти Д. Программирование на С#. — Пер. с англ. — СПб: Символ-Плюс, 2003.-688 с.

11. СК Пресс 7/96, PC Magazine, February 6, 1996. p. 239

12. Маклин С., Нафтел Дж., Уильяме К. Microsoft .NET Remoting/nep. с англ. М.: Издательско-торговый дом «Русская редакция», 2003. — 384 с.

13. MSDN Libraiy. Copyright 1987-2003 Microsoft Corporation.

14. Oracle Spatial User's Guide and Reference Release 9.0.1, June 2001, Part No. A88805-01. -472 c.