Математическое и программное обеспечение обработки оперативной информации и построения специализированных баз данных тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Валев, Олег Владимирович

• Валев, Олег Владимирович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Валев, Олег Владимирович

ВВЕДЕНИЕ.

1 Современные технологии сбора и обработки оперативной информации.

1.1 Средства сбора и обработки оперативных данных.

1.2 Структура представления данных в потоковых информационных системах.Ю

1.2.1 Архитектура обмена информацией.

1.2.2 Модель хранения оперативных данных.

1.3 Выводы по первой главе.

2 Структура СОБ ДВР.

2.1 Минимизация области хранения числовых потоковых данных.

2.1.1 Использование современных алгоритмов сжатия информации.

2.1.2 Принцип хранения данных в приращениях (Структура СОБДВР).

2.1.3 Концепция организации СОБДВР (Поиск данных).

2.2 Выводы по второй главе.

3 Метод обработки данных при последовательном опросе источников.

3.1 Линейная коррекция значений по трем точкам и метод среднеквадратичного приближения.

3.2 Выводы по третьей главе.

4 Оперативная система сбора информации для экспериментальной установки радиоактивных имитаторов.

4.1 Состав и назначение экспериментальной установки ИПХТ.

4.2 Требования к системе контроля, сбора и отображения информации установки ИПХТ.

4.3 Технические средства, используемые для контроля экспериментальных процессов.

4.3.1 Характеристики датчиков.

4.3.2 Характеристики вторичных приборов.

4.3.3 Характеристика системы контроля.

4.3.4 Система контроля параметров ИПХТ.

4.3.5 Состав и принцип действия системы.

4.3.6 Программное обеспечение системы контроля параметров.

4.3.7 Отображение информации.

4.3.8 Конструктивная проработка системы.

4.3.9 Тестирование программного обеспечения СОБДВР.

4.4 Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение обработки оперативной информации и построения специализированных баз данных»

Появление на информационном рынке все более быстродействующих компьютерных технологий, влечет за собой разработку и внедрение все более насыщенного с технической точки зрения программного обеспечения (ПО), создание программных пакетов (Ш1), предназначенных для решения сложных задач вычислительного характера. Сфера применения программных средств обширна и распространяется практически на все области деятельности человека, среди которых наиболее актуальной, по мнению автора, является область автономных систем сбора, обработки и хранения оперативной информации (в контексте данной работы понятие оперативных данных более расширено по отношению к общепринятому их понятию)1. Такие системы могут иметь место и для мониторинга физических объектов в условиях радиационной обстановки, и в экономической сфере или сфере финансов — для хранения информации о курсах валют или ценных бумагах. В той или иной степени каждая такая система решает круг схожих по составу задач:

1. сбор информации о наблюдаемом объекте;

2. обработка уже накопленной информации;

3. выдача управляющих воздействий в той или иной форме.

В зависимости от вида системы, управление представляет собой воздействия на физическом или информационном уровне, направленные на поддержание или улучшение функционирования управляемого объекта в соответствии с имеющимся алгоритмом или целью управления.

Различают два основных типа систем сбора, обработки и хранения:

1. системы, предназначенные для различных процессов в широком смысле этого слова, используются при непосредственном управлении, технологическими процессами на физическом уровне процесса или в экономической области - для сбора важных сведений о различных ценовых показателях;

1 Оперативные данные - это текущие и исторические данные, доступ к которым необходим в реальном времени.

2. системы информационного управления, имеющие дело с объектами организационной природы, предназначенные для решения задач наблюдения за такими сложными объектами, как крупные I технические, военные, строительные подразделения и т.д.

Главное отличие между ними заключается в характере объекта наблюдения и управления. В первом случае это всевозможные установки, механизмы, приборы, станки и прочее оборудование, во втором — прежде всего люди. Но как первый тип, так и второй имеет одну общую черту, которая заключается в том, что, несмотря на назначение системы, в любом случае информация об объекте должна поддаваться анализу, вследствие чего, ее необходимо интенсивно собирать и при этом долговременно хранить.

Как правило, персоналу, занятому, в сфере рассматриваемой предметной области всегда не хватает данных о состоянии контролируемых объектов. ) Операторам, специалистам, ремонтному персоналу, начальникам - всем нужен доступ к текущим и накопленным оперативным данным, итоговой информации и т.д. Все они хотели бы иметь какое-нибудь единое средство доступа к данным, например, мощную и открытую систему, предоставляющую такую возможность. Типичным примером подобных систем могут служить программные пакеты SCADA (системы диспетчерского управления и сбора данных), которые наряду со средствами управления включают и средства для организации области хранения данных. Концепция SCADA предопределена ) всем ходом развития систем управления и результатами научно-технического прогресса. Внедрение SCADA-технологий в системы сбора, обработки и хранения позволяет достичь высокого уровня автоматизации в решении широкого круга задач по управлению сложными промышленными объектами. При этом полноценный эффект от применения достигается посредством взаимодействия с базами данных (БД), оптимизированными для хранения временных рядов (БДВР).

Если со вторым типом систем управления вопросов о хранении инфор-) мации не возникает, так как используемые БДВР унаследовали весь аппарат, накопленный за время существования передовых СУБД, то с первым типом возникает ряд законных соображений.

База данных временных рядов как технология предназначена, как для хранения данных второго типа систем, так и для долговременного хранения данных первого типа с возможностью быстрого доступа к накопленной ранее информации, в том числе — для полноценной организации всей информационной системы (ИС) контролируемого объекта, и обладающая для этого характерными особенностями:

- имеет заранее определенный динамический характер;

- обрабатываемая информация представляет собой, числовую последовательность с привязкой ко времени;

- опрос контролируемых параметров происходит последовательно, в заранее установленном порядке.

Следуя выше отмеченному, можно сказать, что ИС для системы сбора, и обработки есть специализированная оперативная БДВР (СОБДВР), разработанная согласно особенностям промышленной, экономической, а в частном случае технологической системы, а перечисленные выше моменты характеризуют технические требования к этой СОБДВР.

Актуальность темы. На данный момент системы сбора и обработки оперативных данных основываются на различных концепциях проектирования БДВР, в частности на реляционной,,которая получила в этой среде чрезвычайно большое распространение. Связано это с тем, что технология является достаточно простой, полностью отработанной и общепринятой в современных приложениях, а мощь и гибкость языка SQL превосходят характеристики различных узкоспециализированных интерфейсов, пришедших в производственную среду. Но применение реляционных БД (РБД) для хранения временных рядов при отсутствии минимизации объема хранимых данных не всегда позволяет обеспечить эффективный сбор и сохранить большой количество информации без потерь, а с применением настоящих методов сжатия - обеспечить к ним быстрый доступ:

- Производственные или экономические процессы генерируют данные в реальном времени и больших объемов, так, что порождаемые ими потоки представляют собой интенсивно добавляющиеся числовые данные, не подвергающиеся какому-либо сжатию на этапе работы системы. Например, многомесячная БДВР завода с 7500 рабочими переменными может требовать дисковой памяти объемом свыше 1 Терабайта [27].

- Современные методы сжатия не обеспечивают оперативный доступ к сохраненным данным.

- Инструментальные средства сбора и хранения располагают недостаточными возможностями для дополнительной обработки привязанных ко времени данных.

Цель работы состоит в разработке математического и программного обеспечения специализированной БДВР, направленного на повышении эффективности хранения числовых данных в системах сбора и обработки оперативной информации.

Для достижения поставленной цели решаются следующие основные задачи:

- анализ применимости современных способов организации БДВР;

- разработка принципиальной структуры специализированной оперативной БДВР (СОБДВР);

- построение логического представления СОБДВР;

- разработка метода хранения оперативных числовых данных, с ограничением на конечную разность первого порядка;

- разработка основных принципов взаимодействия с СОБДВР;

- разработка нового метода коррекции временного ряда получаемых числовых данных;

- разработка программного обеспечения, основанного на предложенном методе хранения и восстановления данных.

Обоснованность научных положений, выводов и рекомендаций. Обоснованность и адекватность новой структуры СОБДВР подтверждается результатами проведенных экспериментальных исследований, продемонстрировавших существенное сокращение объемов БДВР при хранении оперативной информации с возможностью малого времени доступа к данным.

Научная новизна диссертационной работы состоит в следующем:

- разработан метод хранения значений числового временного ряда, основанный на вычислении конечных разностей первого порядка и обеспечивающий возможность, сокращая объем хранимых данных при ограничении на конечную разность, одновременно получить быстрый доступ к ним;

- предложен алгоритм оперативного восстановления данных для разработанного метода хранения;

- разработан метод коррекции временного ряда получаемых числовых данных при последовательном опросе информационных источников.

Практическая ценность результатов работы заключается в:

- организации специализированной БДВР, позволяющей обеспечить хранение оперативной числовой информации на основе предложенного метода хранения;

- реализации комплекса программных средств, позволяющих в 10 раз | сократить объем дисковой памяти, необходимой для размещения

БДВР и обеспечить высокую скорость доступа к информации.

На базе предложенной концепции и разработанных в диссертации принципов организации систем сбора и обработки оперативных данных было разработано и зарегистрировано (Приложение А) программное обеспечение, характеризующее основные преимущества СОБДВР, и используемое в данный момент на опытной промышленной установке радиоактивных имитаторов в ГУП МосНПО «Радон».

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Валев, Олег Владимирович

4.4 Выводы по четвертой главе

Разработанная экспериментальная система не только решает задачу сбора, контроля процесса и хранения оперативной технологической информации на основе современной аппаратуры и специализированного программного обеспечения, но и позволяет существенно снизить время обработки и анализа полученной в результате проводимых работ информации, а также значительно сократить объем БДВР. Кроме того, система имеет возможность расширения своих функций за счет гибкости используемого программного обеспечения.

По итогам проведенного анализа, использование программного пакета СОБДВР в системах данного типа показало преимущество по отношению к традиционному подходу ведения технологической БДВР на предприятиях:

- позволяет сократить размер БДВР в среднем в 8-10 раз;

- сохраняет оперативность доступа к ранее накопленной информации.

ЗАКЛЮЧЕНИЕ

В ходе проведенных исследований были изложены и научно обоснованы основные идеи и принципы построения специализированных баз данных для систем сбора, обработки и хранения оперативной информации, а также достигнуты следующие результаты:

- Предложен новый метод хранения оперативных числовых данных, который позволяет существенно сократить объем хранимых данных числовых временных рядов при неизменном состоянии процесса, а также сохраняет работоспособность и для изменяющихся процессов (но уже без экономии ресурсов).

- Построена новая структура специализированной оперативной базы данных временных рядов (СОБДВР).

- Получено логическое представление СОБДВР для систем сбора и обработки оперативной информации.

- Разработан алгоритм восстановления данных в СОБДВР предложенной структуры, позволяющий оперативно извлекать хранимую информацию.

- Предложен метод обработки числовой информации для системы с последовательным опросом информационных источников, позволяющий сопоставить полученное значение параметра соответствующему моменту времени его опроса.

Разработан программный пакет для контроля технологического процесса на экспериментальной установке радиоактивных имитаторов с применением представленной технологии.

Список литературы диссертационного исследования кандидат технических наук Валев, Олег Владимирович, 2006 год

1. Ахиезер Н.И. Лекции по теории аппроксимации // Москва: Гостехиз-дат, 1947.

2. Банкет В.Л., Дорофеев В.М. «Цифровые методы в спутниковой связи» //Москва, 1988.

3. Беллами Дж. «Цифровая телефония» // Москва, 1986.

4. Блэр Рампинг, Фейерштейн С. «Oracle PL/SQL. Для профессионалов», 3-е изд. // Питер, 2005.

5. Бунин В., Анопренко В. «SCADA-системы: проблема выбора» // «СТА Современные технологии автоматизации», №4/1999 11,19 стр.

6. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. «Методы сжатия данных» // http://www.compression.ru/.

7. Виноградов В.И. «Дискретные информационные системы в научных исследованиях» // Москва «Атомиздат», 1976.

8. Виссер Сьюзен «Освой самостоятельно DB2 Universal Database за 21 день», 2-е издание // Диалектика, 2004.

9. Гарсиа-Молина Г., Ульман Дж.Д., Уидом Дж. «Системы баз данных: Полный курс» // пер. с англ. Варакина А.С., 2003.

10. Глушаков С.В., Ломотько Д.В. «Базы данных. Учебный курс» // Фолио, 2001.

11. Голицына О.Л., Партыка Т.Л., Попов И.И. «Системы управления базами данных. Учебное пособие» // Форум; Инфра-М, Москва, 2006.

12. Горвиц Г.Г., Потапова Т.Б. «Об одном методе генерации программного обеспечения для моделирования АСУТП» // Приборы и системы управления, №9/1997.13