Модель и алгоритмы распределенной обработки больших массивов данных в управлении процессами материально-технического обеспечения производства на примере ОАО "Сургутнефтегаз" тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Главин, Александр Николаевич

• Главин, Александр Николаевич
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Главин, Александр Николаевич

ВВЕДЕНИЕ.

1. АНАЛИЗ АРХИТЕКТУРНЫХ РЕШЕНИЙ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ И МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК.

1.1. Информационно-организационная структура процесса материально-технического обеспечения производства.

1.2. Технологии параллельных и распределенных вычислений.

1.3. Классификации и архитектуры параллельных вычислительных систем

1.4. Классификация и архитектуры распределенных вычислительных систем.

1.4.1. Общие положения.

1.4.2. Системный анализ современных архитектурных решений.

1.5. Технологии и классификация GRID-систем.

1.6. Системы распределенных баз данных.

1.7. Инфраструктуры платформ и услуг.

1.8. Технология in-Memory.

1.9. Архитектура информационно-аналитического решения в SAP.

1.10. Метод экспертных оценок для выбора агрегированных показателей.

1.11. Выводы по первой главе.

2. РЕШЕНИЕ ЗАДАЧ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ.

2.1. Предел аппаратных ресурсов при обработке больших массивов данных

2.2. Экспертный анализ выбора агрегированных показателей.

2.3. Этапы распределения последовательных задач.

2.3.1. Теоретический расчет коэффициента ускорения для информационной модели предприятия.

2.4. Коэффициент связности информационной схемы взаимодействия.

2.5. Распределенная модель обработки больших массивов данных.

2.6. Выводы по второй главе.

3. РАСПРЕДЕЛЕННАЯ ОБРАБОТКА ДАННЫХ И РАСЧЕТ АГРЕГИРОВАННЫХ ПОКАЗАТЕЛЕЙ.

3.1. Подтверждение гипотезы выбора агрегированных показателей.

3.2. Процесс распределения данных для обработки.

3.3. Алгоритмы расчета агрегированных показателей.

3.4. Рекомендации по принятию решений с помощью агрегированных показателей.

3.5. Выводы по третьей главе.

4. ИНФОРМАЦИОННАЯ СИСТЕМА ПО РАСЧЕТУ АГРЕГИРОВАННЫХ ПОКАЗАТЕЛЕЙ.

4.1. Этапы разработки информационной системы.

4.2. Модель по распределенной обработке данных в системе бизнес-аналитики

4.3. Механизм системного планирования процессов обработки данных.

4.4. Автоматическая рассылка отчетных форм средствами 8АР-сервисаЮ

4.5. Анализ загрузки системных процессов.

4.6. Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Модель и алгоритмы распределенной обработки больших массивов данных в управлении процессами материально-технического обеспечения производства на примере ОАО "Сургутнефтегаз"»

В современном мире в сферах промышленности, науки и жизнедеятельности человека широко используется термин «информация», напрямую связанный с «информатизацией», как с одним из основных явлений, обусловленных постоянно растущей потребностью в аккумулировании, обработке и последующем использовании разнородной информации для контроля существующих процессов, а также для анализа и прогнозирования развития их вариативных изменений.

Информация - часть знаний, которая используется для ориентирования, активного действия и управления чем-либо в целях сохранения, совершенствования и развития (Н. Винер).

Стремительный рост объемов информации сегодня и в перспективе создает серьезную проблему для эффективной работы информационных систем по обработке, поиску и предоставлению информации конечным пользователям. Ситуация, при которой отсутствует возможность произвести обработку информации за требуемый промежуток времени, эквивалентна полному отсутствию информации.

По оценкам агентства IDC (рис.1) к концу 2012 года прогнозируемый

Рис.1. Динамика роста объемов информации в сети Интернет объем информации (в сети Интернет) составит порядка 3 ЭБ (Экзабайт = 270 байт) [111]. Прогрессирующий рост объема информации является основной проблемой многих информационных технологий, которая заключается в существовании разрыва между постоянно увеличивающимся объемом информации и временем ее обработки.

В связи с постоянно прогрессирующим развитием производственных технологий в области нефтегазового сектора расширяется круг производственных задач, повышается уровень автоматизации, постоянно совершенствуются бизнес-процессы, сохраняется тенденция увеличения объемов поступающей производственно-экономической информации аналогично тенденциям роста объемов информации в сети Интернет.

В ОАО «Сургутнефтегаз» ежегодный прирост информации, отражающей состояние сектора МТОП, составляет сотни Гб. На предприятии актуальными являются вопросы оптимального использования вычислительных мощностей, обеспечивающих ввод, преобразование и хранение больших объемов информации, а также представления подробной информации в агрегированном виде для ее качественного анализа. Большой объем информации, поступающей в информационную систему предприятия, представляет собой большой массив данных. Большой массив данных М -структурированный тип данных

М = jm^flpfl^,., },., га^а^а^,.,^}}, состоящий из некоторого числа массивов данных т., где i = {1,2,., z}, объем которого исчисляется в сотнях Гб. Ежедневный прирост временного ряда производственно-экономической информации составляет десятки Гб, включая обновления ранее накопленной информации.

В ОАО «Сургутнефтегаз» с вертикально интегрированной структурой управления (Приложение 1) информационные потоки (в виде больших массивов данных) сектора МТОП обрабатываются в ERP-системе R/3 (разработка фирмы SAP AG) [120].

В условиях роста объемов обрабатываемой информации существует ряд проблем, возникающих при разработке приложений, ориентированных на обработку больших массивов данных [53].

В зависимости от сложности структуры, форматов данных и процессов, осуществляющих вычислительные операции над ними, меняются классы проблем. При однородности форматов данных и растущей вычислительной сложности класс текущих вычислительных проблем переходит в класс проблем супервычислений. При неоднородности форматов данных класс проблем обработки больших массивов данных переходит в более сложный класс - проблем супервычислений над большими массивами данных.

К числу типовых задач, решаемых в области материально-технического обеспечения производства на предприятии, относятся:

- формирование производственной потребности;

- контроль текущего состояния запасов МТР;

- контроль за материально-техническими ресурсами, хранящимися в категории запасов к перераспределению;

- контроль за лимитированным хранением МТР в различных категориях запасов;

- прогнозирование объемов и номенклатуры МТР, находящихся в запасе и попадающих в категорию залежалых (находящихся без движения более года), в среднесрочной перспективе;

- контроль будущих расходов МТР;

- контроль планируемых поступлений МТР;

- контроль за своевременным вывозом МТР с центральных баз.

Кроме этого, при решении задач по материально-техническому обеспечению производства должны быть учтены изменения производственной программы и стратегия предприятия в перспективе его развития. Представленные задачи по анализу данных недостаточно эффективно реализуются в существующем контуре автоматизированной обработки информации из-за наличия большого объема обрабатываемых данных (сотни Гб) и большого объема результирующей информации, используемой при анализе текущего состояния процесса МТОП.

На ежедневную обработку таких массивов данных в транзакционной системе К/3 затрачивается не менее восьми часов. Производить параллельную обработку больших массивов данных в транзакционной системе Ы/3 с одновременным использованием нескольких вычислительных процессов не представляется возможным ввиду наличия регламентированного (ограниченного) количества вычислительных процессов, выделяемых для обработки задач в информационной системе. В случае использования максимального количества вычислительных процессов для выполнения вычислительных операций растет нагрузка на транзакционную систему и сервер базы данных, которая влияет на образование очереди при обращении к вычислительным процессам [13].

Для анализа информации в области материально-технического обеспечения производства на предприятии используются отчетные формы с подробными (по партии) данными. Данные отчетные формы являются неинформативными и избыточными для управленческого уровня. Информация, предоставляемая на управленческий уровень для анализа текущего состояния процессов материально-технического обеспечения производства, должна актуально и полно отражать состояние контролируемых подобластей. Ежедневная подготовка информации для управленческого уровня в ручном режиме является малоэффективной ввиду наличия в данном процессе малопроизводительного и малонадежного человеческого фактора.

Таким образом, существует потребность в поиске такой технологии управления вычислительным процессом по обработке больших массивов данных и представлении состояния процесса материально-технического обеспечения производства в виде совокупности агрегированных показателей, описывающих текущее состояние процесса МТО, которая будет являться оптимальным и оперативным элементом всего производственного цикла.

Такой элемент будет способствовать принятию эффективных управленческих решений, тактическому и стратегическому прогнозированию развития процесса материально-технического обеспечения.

Актуальность работы обусловлена настоятельной потребностью в организации распределенной системы обработки больших объемов данных, снижении нагрузки на транзакционную систему и представлении всего объема информации в виде агрегированных показателей для оценки текущего состояния процесса МТО и прогнозирования его развития, способствующих принятию управленческих решений в квазиреальном времени [70].

Объектом диссертационного исследования являются методы, модели и средства по обработке больших массивов данных при расчете агрегированных показателей, определяющих текущие, критические или граничные состояния процесса материально-технического обеспечения.

Предметом диссертационного исследования является процесс по гарантированной обработке больших массивов данных и расчету агрегированных показателей, используемых для анализа состояния и прогнозирования динамики изменения процесса материально-технического обеспечения производства.

Цель диссертационного исследования состоит в оптимизации процесса обработки больших массивов данных и представление их в виде агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения в рамках информационной системы ОАО «Сургутнефтегаз».

Достижение поставленной цели позволит существенно снизить нагрузку на транзакционную систему Ы/3, тем самым обеспечить выполнение прямых операций (проводок) без задержек для пользователей системы.

Оперативное получение агрегированных показателей позволит существенно ускорить процесс анализа данных, а также обеспечить учет уМ »1

1 Iе4!

1 ' I

VI!

I1

Г ' нцУ' Г" и \ (V о

1 '*», 1 11 ч< й

М 1 изменений состояния процесса МТО при принятии многих управленческих решений.

В рамках поставленной цели решению подлежат следующие задачи: сформировать перечень агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработать модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) разработать алгоритмы расчета агрегированных показателей;

4) выработать перечень рекомендаций по принятию управленческих решений в управлении процессом материально-технического обеспечения производства;

5) спроектировать и реализовать информационную систему обрабатывающую большие массивы данных, рассчитывающую агрегированные показатели МТО и предоставляющую отчетные формы для принятия управленческих решений ответственными специалистами.

Методы диссертационного исследования. Для решения поставленных задач применяются методы теории принятия решений, теории систем и системного анализа, экспертных оценок. Также применяются результаты исследований российских и зарубежных ученых (В.В. Воеводин, Вл.В. Воеводин, А.Б. Барский, В.П. Гергель, В.В. Топорков, David Peleg, Thomas Cormen и др.) в областях исследований параллельных и распределенных вычислений [10, 11, 5, 12, 78].

Используемые методы исследований опираются на математический аппарат в области теории вероятности, математической статистики, линейной алгебры, алгебры логики.

Научная новизна результатов, выносимых на защиту. Решение поставленных задач в диссертационной работе обусловлено получением следующих новых научных результатов:

1)с помощью метода экспертной оценки, сформирован перечень агрегированных показателей, отражающих текущее состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) впервые разработаны алгоритмы расчета агрегированных показателей;

4) выработан перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных показателей в части управления процессом материально-технического обеспечения производства.

Теоретическая значимость диссертационного исследования заключается в описании метода по получению перечня агрегированных показателей и обработки больших массивов данных с помощью распределенной модели обработки в части расчета агрегированных показателей, используемых для оценки текущего состояния процесса МТО, прогнозирования динамики его развития и принятия управленческих решений.

Практическая значимость диссертационной работы заключается в полученной совокупности знаний и методов, с помощью которых был получен перечень агрегированных показателей, разработаны и внедрены распределенная модель обработки больших массивов данных и алгоритмы расчета агрегированных показателей на предприятии, предложен перечень практических рекомендаций по принятию управленческих решений.

Основные положения, выносимые на защиту:

1) результаты метода экспертной оценки сформированного перечня агрегированных показателей, отражающих состояние процесса материально-технического обеспечения производства и динамику его изменения;

2) модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия;

3) алгоритмы расчета агрегированных показателей;

4) перечень рекомендаций по принятию управленческих решений, полученный на основе системного анализа агрегированных показателей в части управления процессом материально-технического обеспечения производства.

Достоверность полученных результатов и выводов обусловлены корректностью математических выкладок, подтверждаются обоснованными исходными теоретическими, методологическими и практическими результатами исследований, апробацией результатов и успешным внедрением в ОАО «Сургутнефтегаз», что подтверждается актом внедрения (Акт внедрения от 25.02.2010 № 50-01-19-002).

Апробация работы. Материалы исследований, изложенные в диссертационной работе, были опубликованы в периодических научных изданиях (сборниках научных трудов, научно-технических журналах).

Результаты диссертационных исследований докладывались на: заседаниях кафедры автоматизированных систем обработки информации и управления Сургутского государственного университета, г. Сургут в 2005-2012 гг.;

-городских семинарах «Информатика и компьютерные технологии» в Санкт-Петербургском институте информатики и автоматизации РАН, г. Санкт-Петербург в 2009-2010 гг.

Также материалы диссертации обсуждались на международных, всероссийских, региональных (окружных) конференциях:

1) VII Окружная конференция молодых ученых «Наука и инновации XXI века», г, Сургут, 2007 г.;

2) XIII Международная открытая научная конференция «Современные проблемы информатизации в моделировании и социальных технологиях», г. Воронеж, 2008 г.;

3) Всероссийская научно-практическая конференция «Информационные технологии в экономике, науке и образовании», г. Бийск, 2009 г.;

4) II Межрегиональная научно-техническая конференция «Информационные системы и технологии - 2009», г. Обнинск, 2009 г.;

5) XXX Научно-техническая конференция молодых ученых и специалистов ОАО «Сургутнефтегаз», г. Сургут, 2010 г. (работа отмечена медалью и дипломом за научно-техническую разработку, имеющую экономическую и практическую значимость для ОАО «Сургутнефтегаз»);

6) Всероссийская научно-практическая конференция «Информационные технологии в науке, экономике и образовании», г. Бийск, 2011г.

Личный вклад соискателя: все основные результаты, на которых базируется диссертационная работа, получены либо соискателем лично, либо при его непосредственном участии.

Публикации. По теме диссертационного исследования было опубликовано 14 научных работ. Среди них 5 тезисов, 9 статей, три из которых опубликованы без соавторов, и три статьи - в научно-техническом журнале «Системы управления и информационные технологии» (входит в перечень ВАК). Кроме этого, получено свидетельство о регистрации электронного ресурса в Институте научной информации и мониторинга ОФЭРНиО ГАН «РАО» (№ 15158).

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, изложенных на 115 страницах машинописного текста, проиллюстрированных 44 рисунками и включающих 6 таблиц, 8 приложений. Список используемой литературы состоит из 124 наименований, 31 из которых - зарубежные. Общий объем диссертационной работы - 143 страницы.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Главин, Александр Николаевич

4.6. Выводы по четвертой главе

Разработанная модель по загрузке данных в систему В1 и расчету агрегированных показателей на основе разработанных алгоритмов расчета агрегированных показателей позволила снизить нагрузку на сервер БД с 80 % до 30 %.

Внедрение модели распределенной обработки больших массивов данных в системе БАР В1 позволило снизить время на подготовку и расчет информации (агрегированных показателей) в два раза - с 8 до 4 часов.

Использование механизма системного планирования с помощью разработанной инфо-цепочки позволило автоматически производить загрузку данных в систему бизнес-аналитики В1 и рассчитывать агрегированные показатели, своевременно подготавливая необходимую информацию для отчетных форм, используемых в системе.

Реализованный процесс автоматической рассылки отчетных форм позволил исключить человеческий фактор при подготовке необходимой информации для управленческого уровня.

ЗАКЛЮЧЕНИЕ

В рамках диссертационной работы была проведена оптимизация существующего процесса обработки больших массивов данных и представления информации, описывающей состояние процесса материально-технического обеспечения производства в виде агрегированных показателей, способствующих принятию управленческих решений.

1. С помощью метода экспертной оценки был сформирован перечень агрегированных показателей, отражающих текущее состояние процесса материально-технического обеспечения производства и динамику его изменения используемый при принятии управленческих решений. Использование процесса агрегации позволило достаточно полно представить подробную информацию, описываемую 512 признаками и показателями в виде 19 макропоказателей.

2. Разработана модель по распределенной обработке больших массивов данных и расчету агрегированных показателей в контуре информационной системы предприятия. Использование разработанной модели обеспечило снижение нагрузки на сервер базы данных транзакционной системы Я/3, которая в установленное регламентом время сбора и расчета данных не превышает 30 %. Использование разработанной модели на практике позволило сократить время обработки данных в два раза. В настоящее время на обработку данных в информационной системе затрачивается порядка 4 часов вместо 8.

3. Разработаны алгоритмы по расчету агрегированных показателей, способствующих оценке текущего состояния процесса материально-технического обеспечения производства, используемые для анализа текущих бизнес-процессов при принятии ответственными специалистами управленческих решений в части корректировки и изменения. Также значения агрегированных показателей используются для прогнозирования динамики изменения текущего процесса материально-технического обеспечения в среднесрочной перспективе.

4. Получен перечень рекомендаций по принятию управленческих решений направленных на изменение процесса материально-технического обеспечения производства. Полученный перечень рекомендаций используется с момента внедрения информационной системы в промышленную эксплуатацию.

Разработанная модель и принципы ее построения являются универсальными (приложение 7) и при необходимости могут быть аппроксимированы на другие информационные системы предприятия, работающие с большими массивами данных (приложение 8).

Список литературы диссертационного исследования кандидат технических наук Главин, Александр Николаевич, 2012 год

1. Амербаев, В.М. Распределение регулярных потоков сообщений в информационных системах / В.М. Амербаев, В.И. Васильев. Алма-Ата : Наука, 1980. - 144 с.

2. Арлазаров, В.Л. От баз данных к базам знаний (объекты, формы, содержание) / В.Л. Арлазаров, Н.Е. Емельянов // Труды Института системного анализа Российской академии наук. Системный подход к управлению информацией. М. : КомКнига, 2006. - Т.23. - С. 6-18.

3. Ахо, A.B. Структуры данных и алгоритмы / A.B. Ахо, Д.Э. Хопкрофт, Д.Д. Ульман. М. : Издательский дом «Вильяме», 2000. - 384 с.

4. Барский, А.Б. Параллельные информационные технологии / А.Б. Барский. М. : Изд-во «Интернет-университет информационных технологий», «БИНОМ. Лаборатория знаний», 2007. - 503 с.

5. Бобровский, С.И. Delphi 7 / С.И. Бобровский. СПб. : Питер, 2005.736 с.

6. Бройдо, В.Л. Вычислительные системы, сети и телекоммуникации / В.Л. Бройдо, О.П. Ильина. СПб. : Питер, 2007 - 768 с.

7. Бройдо, В.Л. Вычислительные системы, сети и телекоммуникации : Учебник для вузов / В.Л. Бройдо. 2-е изд., испр. и доп. - СПб. : Питер, 2004. -703 с.

8. Вирт, Н. Алгоритмы и структура данных: Пер. с англ. / Н. Вирт. 2-е изд., испр. - СПб. : Невский Диалект, 2008. - 352 с.

9. Воеводин, В.В. Параллельные вычисления / В.В. Воеводин, Вл.В. Воеводин. СПб. : БХВ-Петербург, 2004. - 608 с.

10. Воеводин, Вл.В. Численные методы, параллельные вычисления и информационные технологии / Вл.В. Воеводин. М.: МГУ, 2008. - 320 с.

11. Гергель, В.П. Теория и практика параллельных вычислений / В.П. Гергель. М. : Изд-во «Интернет-университет информационных технологий», «БИНОМ. Лаборатория знаний», 2007. - 423 с.

12. Главин, А.Н. Анализ стандартных механизмов сортировки больших массивов данных / А.Н. Главин, Ф.Ф. Иванов // Системы управления и информационные технологии. 2009. - №2.1(36). - С. 110-113.

13. Главин, А.Н. Кластер как альтернативная параллельная система / А.Н. Главин, Ф.Ф. Иванов // Сборник научных трудов: физико-математические и технические науки. Сургут : СурГу, 2007. - № 28. - С. 27-32.

14. Главин, А.Н. Граф гетерогенной вычислительной сети по сортировке данных / А.Н. Главин // Информационные технологии в науке, экономике и образовании: Всероссийская научная конференция, Бийск, 2009. Ч. 1. - С. 8284.v S ,1. I >1Оft .1 ,f ''iк