Исследование и разработка системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Волошин, Сергей Борисович

• Волошин, Сергей Борисович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Волошин, Сергей Борисович

ВВЕДЕНИЕ.1.

ГЛАВА 1. АНАЛИЗ ОСНОВНЫХ ОСОБЕННОСТЕЙ СИСТЕМ СБОРА, ХРАНЕНИЯ, АНАЛИЗА И ВИЗУАЛИЗАЦИИ МАССИВОВ ДАННЫХ.

1.1. Введение.

1.2. Функциональные возможности систем сбора, хранения, анализа и визуализации массивов данных.

1.3. Анализ особенностей приложений сбора, хранения, анализа и визуализации массивов данных.

Введение диссертации (часть автореферата) на тему «Исследование и разработка системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников»

Актуальность работы. В настоящее время деятельность любой организации (будь то промышленное предприятие, государственная структура, учебная организация и т.д.) сопровождается регистрацией и записью в электронном виде всех подробностей ее работы. Для промышленного производства это могут быть значения технологических параметров, данные о продажах продукции, рынках сбыта и многое другое. Как правило, это массивы неупорядоченных разнородных данных, источники которых находятся на расстоянии друг от друга. Анализ таких данных является неотъемлемой составляющей их эффективного использования.

Специфика современных требований к анализу в общем виде может быть описана следующим образом:

1. Данные имеют значительный, изначально неизвестный объем.

2. Данные являются разнородными (количественными, качественными, текстовыми, мультимедийными).

3. Результаты анализа должны быть конкретны и понятны, т. е. требовать как можно меньше затрат на дальнейшую обработку.

4. Инструменты для обработки данных должны быть просты в использовании и работать на персональных компьютерах с различными техническими характеристиками.

Удобство использования инструмента анализа - очень важное качество. Прежде всего, это связано с тем, что коммерческие приложения для анализа данных, предлагаемые на рынке программного обеспечения, как правило, являются универсальными системами, реализующими многочисленную функциональность. И если для научных исследований это скорее преимущество, то использование подобных систем в повседневной деятельности специалиста, например, технолога цеха на металлургическом предприятии, будет затруднено в связи с перегруженностью интерфейса пользователя, затратой времени на ввод, последующую перепроверку исходных данных и выводом результатов анализа. Кроме того, избыточная функциональность увеличивает цену продукта и стоимость его владения (вызванную затратами на приобретение высокопроизводительной компьютерной техники и выделением средств на обучение персонала).

Своевременность и актуальность решаемых в настоящей работе проблем заключается, прежде всего, в том, что в ней поставлена и решена задача исследования и разработки современной системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников, с возможностью использования предлагаемой системы в различных сферах деятельности путем внедрения так называемых отраслевых модификаций.

Целью диссертационной работы является исследование и разработка методов и алгоритмов технологического процесса обработки массивов данных, поступающих с территориально распределенных источников. Поставленная цель потребовала решения следующих задач:

1. Анализ основных проблем, принципов и методов проектирования современной системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников.

2. Создание методики разработки модулей анализа данных для предлагаемой системы.

3. Разработка методики защиты системы от нелегального использования.

4. Разработка отраслевых модификаций системы с целью демонстрации применимости используемой архитектуры предлагаемой системы в различных отраслях жизнедеятельности человека.

5. Оценка эффективности работы отраслевых модификаций системы. Методы исследования. Проводимые исследования базировались на положениях технической кибернетики, методах и приемах исследования сложных процессов: системный анализ, имитационное моделирование, математическое моделирование, регрессионный анализ. Использовались методы математической статистики, искусственного интеллекта.

Научная новизна работы:

1. Предложена система сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников, как комплексного инструмента системного анализа промышленных, социальных и иных объектов исследования.

2. Предложены внутреннее устройство и методика разработки модулей анализа данных для предлагаемой системы.

3. Предложены процедуры построения математических моделей с применением разработанного инструментария. Эффективность процедур и универсальность инструментария показаны на примере технологического процесса обжига сульфидных цинковых концентратов в печи кипящего слоя и процесса оценки знаний обучающихся от нескольких факторов.

Обоснованность и достоверность научных положений, выводов и рекомендаций подтверждается соответствием результатов теоретических и экспериментальных исследований, результатами внедрения разработанных программных комплексов в ряде организаций. Практическая значимость работы:

1. Разработана система сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников.

2. Предложена методика разработки модулей анализа данных для предлагаемой системы.

3. Разработана отраслевая модификация ("RZnAnalyticsSys") системы, применяемая при реализации мероприятий по вычислению оптимальных параметров работы печи кипящего слоя для обжига сульфидных цинковых концентратов в условиях ОАО "Электроцинк".

4. В рамках работы над отраслевой модификацией "RZnAnalyticsSys" разработаны и реализованы машинно-ориентированные алгоритмы, позволяющие проводить моделирование процесса обжига сульфидных цинковых концентратов в печах кипящего слоя в промышленных условиях.

5. С использованием отраслевой модификации "RZnAnalyticsSys" разработана и идентифицирована математическая модель, описывающая зависимость температуры кипящего слоя в печи для обжига сульфидных цинковых концентратов от некоторых технологических параметров и состоящая из материальных и тепловых балансов, а также термохимических и многофакторных регрессионных уравнений.

6. Разработана отраслевая модификация ("TestGen") системы, применяемая в качестве автоматизированной системы оценки качества знаний Министерством образования и науки Республики Северная Осетия-Алания.

7. С использованием отраслевой модификации "TestGen" разработана и идентифицирована математическая модель, описывающая зависимость оценки школьников от таких факторов как тип дошкольного образования и категория учителя.

8. Отраслевые модификации системы в форме отдельных программных комплексов "RZnAnalyticsSys" и "TestGen" используются в учебном и научно-исследовательском процессе в Северо-Кавказском горнометаллургическом института (государственном технологическом университете).

Апробация работы. Основные результаты проведенных в диссертации исследований были представлены и обсуждены: на III межрегиональной научной конференции "Студенческая наука - экономике России", г. Ставрополь, 2002 г. (работа заняла 3-е место); на VI межрегиональной научной конференции "Студенческая наука - экономике России", г. Ставрополь. 2005 г.; на Всероссийской научной конференции студентов, аспирантов и молодых ученых - "Перспектива - 2005", г. Нальчик, 2007 г.; на Всероссийской конференции-конкурсе студентов выпускного курса ВУЗов минерально-сырьевого комплекса России, г. Санкт-Петербург, 2006 г. (работа заняла 1-е место); на Международном конгрессе студентов, аспирантов и молодых ученых - "Перспектива - 2007", г. Нальчик, 2007 г.; на Международной конференции "Научный потенциал студенчества — будущему России", г. Ставрополь, 2007 г.; на IV Международной конференции "Инновационные технологии для устойчивого развития горных территорий", г. Владикавказ, 2007 г.

Личный вклад автора. Оценочный вклад автора составляет 70 %.

Публикации. Основные результаты диссертационной работы опубликованы в 15 работах, из них 1 в издании, рекомендованном ВАК, и 3 свидетельства об официальной регистрации программы для ЭВМ.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и девяти приложений. Общий объем диссертационной работы составляет 213 страниц машинописного текста, в том числе 46 рисунков, 8 таблиц и список литературы из 135 наименований.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Волошин, Сергей Борисович

4.15. Выводы по главе

1. С целью демонстрации применимости используемой архитектуры в образовательной деятельности, разработана отраслевая модификация предлагаемой системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников.

2. Предложено законченное решения, покрывающее весь цикл от создания тестов до анализа результатов тестирования с выявлением зависимостей успеваемости от различных факторов.

3. Предложено использование в системе "TestGen" Rich Content Elements и мультимедийных материалов (аудио, видео), позволяющих расширить круг ее применения.

4. Предложено использование отраслевой модификации "TestGen" не только 'для оценки качества знаний, но и для проведения социологических опросов, викторин, олимпиад, голосования.

5. С использованием методов компьютерного моделирования и планирования эксперимента с помощью системы "TestGen" проведен анализ зависимости оценки школьников 5-х классов по математике от факторов: тип дошкольного образования, категория учителя.

6. Проведен анализ полученных уравнений регрессии, позволяющий установить, что независимые переменные можно ранжировать по степени влияния на оценку (по убыванию) следующим образом: категория учителя, тип дошкольного образования учеников в парном произведении с категорией учителя.

7. Предложена методика оценки эффективности работы отраслевой модификации "TestGen". Показано, что применение предложенной автоматизированной системы контроля знаний сокращает время на проверку работ, позволяет легко анализировать ответы как одного тестируемого, так и группы в целом, что значительно снижает материальные и трудовые затраты.

ЗАКЛЮЧЕНИЕ

В результате проведенных в работе теоретических и экспериментальных исследований получены следующие основные результаты:

1. Проведен системный анализ основных проблем, принципов и методов проектирования современной системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников.

2. На основе результатов проведенных исследований предложена система сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников, как комплексного инструмента системного анализа промышленных, социальных и иных объектов исследования.

3. Представлена методика разработки модулей анализа данных для предлагаемой системы сбора, хранения, анализа и визуализации массивов данных, поступающих с территориально распределенных источников. Детально рассмотрены некоторые статистические методы, на которых может базироваться модуль анализа данных.

4. Приведен пример использования предлагаемой системы сбора, хранения, анализа и визуализации массивов технологических параметров как части концепции интеллектуальной системы управления процессом обжига сульфидных цинковых концентратов в печах кипящего слоя.

5. Разработаны и реализованы машинно-ориентированные алгоритмы, позволяющие проводить моделирование процесса обжига сульфидных цинковых концентратов в печах кипящего слоя в промышленных условиях.

6. С использованием методов компьютерного моделирования и планирования эксперимента с помощью системы "RZnAnalyticsSys" разработана математическая модель процесса обжига цинковых сульфидных концентратов в печах кипящего слоя, состоящая из материальных и тепловых балансов, а также термохимических и многофакторных регрессионных уравнений. Проведена идентификация математической модели, позволившая установить её адекватность показателям работы производственных обжиговых печей. Проведен анализ полученных уравнений регрессии, позволяющий установить, что независимые переменные можно ранжировать по степени влияния на температуру кипящего слоя (по убыванию) следующим образом: коэффициент избытка дутья, коэффициент избытка (недостатка) концентрата при постоянном расходе дутья, содержание кислорода в дутье и влажность концентрата.

7. Приведен пример использования предлагаемой системы сбора, хранения, анализа и визуализации массивов данных как автоматизированной системы оценки качества знаний. Предложено законченное решение, покрывающее весь цикл от создания тестов до анализа результатов тестирования с выявлением зависимостей успеваемости от различных факторов.

8. На основе методов компьютерного моделирования и планирования эксперимента с помощью системы "TestGen" проведен анализ зависимости оценки школьников 5-х классов по математике от таких факторов, как тип дошкольного образования и категория преподавателя. Проведен анализ полученных уравнений регрессии, позволяющий установить, что независимые переменные можно ранжировать по степени влияния на оценку (по убыванию) следующим образом: категория преподавателя, тип дошкольного образования учеников в парном произведении с категорией учителя.

9. Результаты проведенных исследований в форме программных комплексов "RZnAnalyticsSys" и "TestGen" применяются ОАО "Электроцинк", Министерством образования и науки РСО-Алания и используются в учебном процессе в СКГМИ (ГТУ).

Список литературы диссертационного исследования кандидат технических наук Волошин, Сергей Борисович, 2009 год

1. Тюрин Ю. Н., Макаров А. А. Анализ данных на компьютере. - М.: Инфра-М, 2003.

2. Джарратано Д., Райли Г. Экспертные системы: принципы разработки и программирование, 4-е издание. — М.: Издательский дом "Вильяме", 2007.

3. Черноруцкий И. Г. Методы принятия решений. — СПб.: БХВ-Петербург, 2005.

4. Управляющие вычислительные комплексы. / Под редакцией Н. JI. Прохорова. М.: Финансы и статистика, 2003.

5. Баталин Г., Васютинский В. Создание распределенных систем сбора данных на основе стандарта ОРС. // Современные технологии автоматизации. 2005. - №2. - с. 84-87.

6. Швецов Д. Новые технологии работы с данными ОРС. // Современные технологии автоматизации. — 2007. — №1. с. 66-69.

7. Microsoft SQL Server 2005. Реализация и обслуживание. — М.: Русская редакция, 2007.

8. Дж. Гласс, Дж. Стенли. Статистические методы в педагогики и психологии. -М.: Прогресс, 1976.

9. Брандт 3. Анализ данных. Статистические и вычислительные методы для научных работников и инженеров. М.: Мир, 2003.

10. Гайдышев И. Анализ и обработка данных: специальный справочник. -СПб.: Питер, 2001.

11. Дюк В. А. Обработка данных на ПК в примерах. СПб: Питер, 1997.

12. Дюк В. А., Самойленко A. Data Mining: учебный курс. СПб.: Питер, 2001.

13. Рутковская Д., Пилинъский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия - Телеком, 2007.

14. Рассел С., Норвиг 77. Искусственный интеллект: современный подход. М.: Издательский дом "Вильяме", 2006.

15. Ясницкий Л. Н. Введение в искусственный интеллект. — М.: Академия, 2005.

16. Малик С. Microsoft ADO.NET 2.0 для профессионалов. — М.: Издательский дом "Вильяме", 2006.

17. Маклаков С. В., Матвеев Д. В. Анализ данных. Генератор отчетов Crystal Reports. СПб.: БХВ-Петербург, 2003.

18. Поршнев С. В. MATLAB 7. Основы работы и программирования. — М.: Бином, 2006.

19. Дьяконов В. И, Круглое В. В. MATLAB 6.5 SP1/7/7 SP1/7 SP2+Simulink 5/6. Инструменты искусственного интеллекта и биоинформатики. М.: COJIOH-Пресс, 2006.

20. Аладъев В. 3., Шишаков М. Л. MAPLE 6: Решение математических, статистических, инженерно-физических задач. — М.: Бином, 2002.

21. Поршнев С. В. Численные методы на базе Mathcad. — СПб.: БХВ-Петербург, 2005.

22. Алексеев Е. Р., Чеснокова О. В. Решение задач вычислительной математики в пакетах Mathcad 12, MATLAB 7, Maple 9. М.: НТ-Пресс, 2006.

23. Ивановский Р. И. Теория вероятностей и математическая статистика. Основы, прикладные аспекты с примерами и задачами в среде Mathcad. СПб.: БХВ-Петебург, 2008.

24. Пирогов В. Ю. SQL Server 2005: программирование клиент-серверных приложений. — СПб.: БХВ-Петербург, 2006.

25. Станек Уильям P. Microsoft SQL Server. Справочник администратора. М.: Русская редакция, 2006.

26. ZhaoHui Tang, Jamie MacLennan. Data Mining with SQL Server 2005. — Indianapolis: Wiley Publishing, 2005. Англ.27.