Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Чесалов, Александр Юрьевич

• Чесалов, Александр Юрьевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Чесалов, Александр Юрьевич

ВВЕДЕНИЕ

АНАЛИЗ ПРОБЛЕМ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ФУНКЦИОНИРОВАНИЯ РЕГИОНАЛЬНОЙ СЕТИ ПЕРЕДАЧИ, ОБРАБОТКИ И ХРАНЕНИЯ ДАННЫХ (РСХД): АНАЛИТИЧЕСКИЙ ОБЗОР И ПОСТАНОВКА ЗАДАЧИ

1.1 Актуальность проектирования и повышения эффективности региональных сетей

1.2 Обзор технологий построения и проблемы организации эффективного функционирования РСХД

1.3 Обзор математических методов проектирования распределенных вычислительных сетей

1.3.1 Анализ факторов, определяющих эффективность функционирования региональной сети

1.3.2 Основные теоретические предпосылки

1.3.3 Анализ моделей, используемых при проектировании распределенных сетей

1.4 Выбор пропускной способности в качестве основного критерия оптимизации

1.5 Постановка задачи исследования

МОДЕЛЬ ИССЛЕДОВАНИЯ ФУНКЦИОНИРОВАНИЯ РЕГИОНАЛЬНОЙ СЕТИ ПЕРЕДАЧИ, ОБРАБОТКИ И ХРАНЕНИЯ ДАННЫХ

2.1 Методологический подход к построению модели исследования функционирования региональной сети

2.2 Модель исследования функционирования региональной сети

МЕТОДИКА АНАЛИЗА ФУНКЦИОНИРОВАНИЯ И ВЫБОРА РАЦИОНАЛЬНОЙ СТРУКТУРЫ РЕГИОНАЛЬНОЙ СЕТИ ПЕРЕДАЧИ,

ОБРАБОТКИ И ХРАНЕНИЯ ДАННЫХ

3.1 Методический подход к выбору топологии

3.2 Методический подход к выбору пропускной способности каналов

3.3 Методика определения и оптимизация операционных характеристик региональной сети хранения

3.3.1 Методологический подход к определению загрузки и производительности сервера центра обработки информации

3.3.2 Методика определения и выбора протокольных параметров в условиях использования разнородных каналов связи

3.4 Методический подход к выбору оборудования передачи данных

РЕЗУЛЬТАТЫ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ И РЕКОМЕНДАЦИИ ПО ПОВЫШЕНИЮ ЭФФЕКТИВНОСТИ И

ПРОИЗВОДИТЕЛЬНОСТИ РСХД

4.1 Описание функций и структуры программы определения и анализа протокольных параметров

4.2 Исходные данные для моделирования

4.3 Результаты моделирования и их интерпретация

4.5 Рекомендации по выбору аппаратной платформы региональной сети

Введение диссертации (часть автореферата) на тему «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных»

В настоящее время в России происходит бурный процесс развития информационных технологий проектирования и внедрения компьютерных телекоммуникационных сетей. Одни сети имеют глобальный характер и топологию, другие являются корпоративными или локальными. Характер роста указанных сетей является весьма стохастичным, база средств вычислительной техники, на которой они строятся, гетерогенна. Вместе с тем данные сети имеют мощную тенденцию к расширению и объединению, образуя в конечном итоге интегрированную территориально-распределенную сеть, входящую частично в мировую сеть Internet.

В данной работе в качестве объекта исследования рассматривается региональная сеть передачи, обработки и хранения социально-экономической информации (RSAN - Region Storage Area Network, РСХД), как совокупность технологий построения распределенных сетей и сетей SAN (Storage Area Network) и NAS (Network Attached Storage). Узлами РСХД являются административный центр и районные центры, представляющие собой сложные аппаратно-программные комплексы, и соединяющие их в единую систему разнородные каналы передачи информации.

Основной задачей РСХД является передача, обработка и хранение больших массивов социально-экономической информации, как основной составляющей всего информационного пространства регионов Российской Федерации.

На данный момент, сетевые территориально распределенные сети занимают важное место в развитии региональной науки и техники, образовании и культуры, здравоохранении, торговли и т.д. Это вызвано, в первую очередь, интенсивным ростом потребностей в распределенных прикладных вычислениях, информационном сервисе, системах электронного документооборота, дистанционного обучения, торговли, использованием почтовых служб и сервисов, сервисов безопасности передачи, хранения и восстановления данных, и т.д. С другой стороны, недостаток финансирования сетевых проектов со стороны государственных органов, ограниченность средств телекоммуникационных компаний, необходимых для создания единой интегрированной высокоскоростной среды, пока не позволяют создать мощную основу для развития крупной сети регионального масштаба (хотя работы в этом направлении проводятся). Вместе с тем надо, быть готовым к решению задач проектирования и повышения эффективности функционирования и производительности региональных территориально распределенных сетей, на базе уже существующих телекоммуникационных решений, как одной из составляющих общероссийской макросети.

В общем случае моделируемая система РСХД характеризуется территориально распределенной структурой. Несмотря на то, что важнейшим показателем потенциальных возможностей ресурсов сети является пропускная способность центров обработки, передачи и хранения данных, управляемых протоколами TCP/IP, iFCP, iSCSI и InfiniBand, применяемые в настоящее время модели описания процессов сетей SAN являются недостаточно адекватными для проектирования сетей класса RSAN. Кроме того, анализ существующих подходов к решению задачи оптимизации параметров РСХД показывает, что ряд существенных черт, факторов и механизмов, определяющих эффективность функционирования сети, необоснованно упрощается. Таким образом, возникает потребность в создании более совершенных моделей описания процессов функционирования РСХД и методах выбора оптимальных решений, что должно позволить оценить или сформировать набор проектов сетей хранения с тем, чтобы обеспечить возможность выбора приемлемого варианта системы.

Целью диссертационной работы является разработка методики выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования, посредством выбора методов и совершенствования алгоритмов построения распределенных сетей.

Для достижения поставленной цели в работе решаются следующие основные задачи:

1. провести анализ технологий и особенностей построения распределенных сетей хранения данных;

2. исследовать модели и методы проектирования распределенных сетей передачи данных;

3. предложить комплексную модель региональной сети, представляющую собой совокупность модели функционирования центра обработки информации и системы в целом;

4. разработать алгоритмы повышения производительности, а как следствие, и эффективности функционирования системы и методику выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

5. провести анализ и предложить методику определения и оптимизации операционных характеристик сети на протокольном уровне, позволяющую учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи для региональной сети передачи, обработки и хранения данных;

6. провести апробацию результатов исследования;

7. разработать предложения и рекомендации по выбору рациональной структуры при проектировании РСХД и повышению эффективности ее функционирования.

Методы исследования. При выполнении диссертационной работы использовались методы теории вероятностей, теории массового обслуживания, марковских процессов и методы математического моделирования.

Научная новизна работы состоит в следующем:

• проанализированы новые технологии и исследованы подходы к построению распределенных сетей хранения данных и, как следствие этого, предложен подход к выбору рациональной структуры при проектировании региональной сети передачи, обработки и хранения данных;

• разработана модель функционирования региональной сети хранения;

• предложены алгоритмы повышения эффективности функционирования РСХД, используемые при создании структуры, выбора оптимальной пропускной способности каналов, определения характеристик сети хранения и их оптимизации, выбора аппаратного обеспечения на этапе технического проекта;

• разработана методика анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

• предложена методика определения и оптимизации операционных характеристик региональной сети хранения на протокольном уровне, позволяющая учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи.

Достоверность и обоснованность работы подтверждены теоретическими разработками ведущих ученых, которые легли в основу работы, а гак же результатами практического использования разработанной методики.

Практическая значимость работы. В результате проведенных в рамках данной диссертационной работы исследований сформирована алгоритмическая и методологическая основа проектирования региональных распределенных сетей, в условиях использования разнородных каналов связи.

Предложенная методика может быть использована при разработке и реализации сетевых проектов целевых программ информатизации регионов РФ, что позволит ускорить процесс проектирования, снизить финансовые и временные затраты при выборе приемлемого решения, построить или модернизировать региональную сеть отвечающую предъявляемым требованиям к передаче, обработке и хранению данных.

Внедрение результатов работы. Разработанные модели, методы и программное обеспечение, а также методика его использования внедрены:

• в Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации -"Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота";

• в компании ЛУКойл-Арктик-Танкер при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.

Апробация работы. Основные положения, теоретические выводы и практические рекомендации диссертационной работы докладывались автором на следующих всероссийских и международных конференциях: "Математические методы в технике и технологиях" (г. Санкт-Петербург, 2000 и 2001 г.г.), "Социокультурная динамика: философские и социологические проблемы" (г. Тверь, 2000 г.), "Современная образовательная среда" (г. Москва, 2001 и 2002 г.г.), "Высокопроизводительные Параллельные Вычисления на Кластерных Системах" (г. Нижний Новгород, 2002 г.), на Российском Форуме разработчиков и администраторов информационных систем на базе технологий Lotus от IBM. (г.Москва, 2002 г.).

Публикации. По результатам исследований опубликовано 9 печатных работ.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Чесалов, Александр Юрьевич

ЗАКЛЮЧЕНИЕ

В соответствии с намеченным направлением исследований в диссертационной работе были рассмотрены вопросы проектирования и выбора рациональной структуры региональной сети и проанализированы технологии SAN (Storage Area Network) и NAS (Network Attached Storage). На основе полученных результатов и технологий построения распределенных сетей предложен к реализации новый класс сетей RSAN (Region Storage Area Network, РСХД), как региональная сеть передачи, обработки и хранения данных.

На основе предложенных алгоритмов и методики было проведено моделирование функционирования и проектирование, а именно выполнение основных этапов обследования и технического проекта региональной сети, на примере Тверского региона, определены основные операционные характеристики и протокольные параметры и выбрана рациональная структура сети с учетом географических ограничений на размещение узлов ЦОИ.

Основные научные и практические результаты работы заключаются в следующем:

1. На основе анализа открытых и закрытых моделей, моделей линейного и конвейерного протоколов, а также моделей, описывающих функционирование сетей в нормальных или асинхронных режимах, методов проектирования глобальных сетей передачи данных решена задача исследования региональной сети передачи, обработки и хранения социально-экономической информации, как нового класса сетей хранения (NAS и SAN).

2. Предложена модель (состоящая из модели функционирования центрального ядра РСХД - АЦОИ, и модели РСХД взаимодействия АЦОИ и РЦОИ) с использованием которой проведено исследование методов и разработанных алгоритмов. Которая позволяет исследовать предельные возможности сети передачи данных на аппаратно-программном уровне и оптимизировать

167 сетевую структуру и протокольные параметры по критерию пропускной способности.

3. По результатам проведенных исследований разработана методика анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных, основанную на анализе операционных характеристик сети на протокольном уровне, позволяющую учесть взаимосвязь основных сетевых механизмов процессов передачи данных.

4. Проведено проектирование региональной сети передачи, обработки и хранения данных, в условиях использования разнородных каналов связи.

5. Разработана программа для анализа трафика и задержек в сети, определения протокольных параметров и выбора оптимальной величины пропускной способности каналов передачи данных.

Список литературы диссертационного исследования кандидат технических наук Чесалов, Александр Юрьевич, 2003 год

1. Кларк Э. Fiber Channel, 1. и некоторые другие технологии в сетях хранения. М: LAN, 2002, №7, С.36-41.

2. Ковалев В. Резервное копирование данных в среде SAN. М: LAN, 2002, №7, С.36-41.3 . Петроски М. Будущее сетевых технологий: коммутация то что надо! М: LAN, 1996, №1, С.28-31

3. Пьянзин К. Потребитель и новые сетевые технологии. М: LAN, 1996, №6, С.44-48

4. Пьянзин К. Сетевые технологии для простых смертных. М: LAN, 2000, №2, С.16-17

5. Лутковиц М. Рыночные реалии городских оптических сетей. М: LAN, 2000, №7, С.22-24

6. Дорнан Э.Есть ли у ATM перспектива? М: LAN, 2001, №6, С.36-37

7. Викерс Л. Оптика до настольных систем. М: LAN, 2001, №2, С. 12-14

8. Полунин А. Технология DTM. М: LAN, 2001, №2, С.32-35

9. Киларски Д. Спутниковые сети: данные уходят в небо. М: LAN, 1997, №8, С.13-14

10. Эйнджел Д. Спутниковые сети: ключ на старт? М: LAN, 1999, №7-8, С.28-31

11. Дорнан Э. Последние пятьсот миль. М: LAN, 2001, №5, С. 14-18

12. Строндж Т., Финни Г. Глобальная пропускная способность: избыток или нехватка? М: LAN, 2000, №11, С.23-25

13. Дрогсет Д. В поисках истинных причин сетевых проблем. М: LAN, 2001, №6, С.28-34

14. Кульгин М. Маршрутизация и сигнализация. М: LAN, 1998, №7-8, С.19-21

15. Крейнес А. Вычислительные сети без проводов. М: LAN, 1996, №6, С.27-28

16. Савельев А. Современные протоколы маршрутизации. М: LAN, 1998, №12, С.38

17. Олифер В., Олифер Н. Искусство оптимизации трафика. М: LAN, 2001, №12, С.18-21

18. Шварц М. Сети ЭВМ. Анализ и проектирование. -М.: Радио и связь, 1981. -336 с.

19. Заби З.К. Многокритериальная оптимизация построения и развития распределенных сетей. Автореф. дис.канд. технич. наук. Киев. :КПИ, 1990.-17с.

20. Парсиев С.С. Анализ и оптимизация структуры цифровых сетей интегрального обслуживания. Дис.канд. технич. наук. Л.:ЛЭИС,1989.-18с.

21. Хохлова Е.В. Оптимизация структуры информационно-вычислительной сети АСУ ГПС. Автореф. дис. .канд. технич. наук. Л.:ЛИЭИ,1989.-19с.

22. Гурьянов В.М. Комплексная оптимизация параметров сети обмена данными в распределенных информационно-вычислительных сетях. Автореф. дис.канд. технич. наук. М.:МГИЭМ, 1996.-18с.

23. Дагвадоржиин Б.Э. Оптимизация локальной вычислительной сети по обобщенному показателю эффективности (на примере высших учебных заведений МНР). Автореф. дис.канд. технич. наук. М.:МИИГА,1991.-18с.

24. Куракин Д.В. Оптимизация маршрутизации Информационных потоков при проектировании общероссийской сети телекоммуникаций: Дис.докт. технич. наук. М.:МГТУ,1997.-511с.-299с.

25. Сущенко С.П. Оптимизация операционных характеристик сети передачи данных с коммутацией пакетов: Дис.докт. технич. наук. Томск.:ТГУ,1997.

26. Малашенко Ю.Е., Новикова Н.М., Смирнов М.М. Анализ многопользовательских сетевых систем с учетом неопределенности. Многокритериальная или параметрическая постановка для неизвестных требований. М: ВЦ РАН, 1998г.

27. Малашенко Ю.Е., Новикова Н.М. Анализ многопользовательских сетевых систем с учетом неопределенности. Задача о допустимости со случайными требованиями. М: ВЦ РАН, 1998г.

28. Воробейчикова О.А., Малашенко Ю.Е., Новикова Н.М. Анализ многопользовательских сетевых систем с учетом неопределенности. Задача о допустимости при неслучайных потерях пропускной способности. М: ВЦ РАН, 1998г.

29. Малашенко Ю.Е., Новикова Н.М. Анализ многопользовательских сетевых систем с учетом неопределенности. Задача нормативного анализа уязвимости многопродуктовой потоковой сети. М: ВЦ РАН, 1999г.

30. Малашенко Ю.Е., Новикова Н.М. Анализ многопользовательских сетевых систем с учетом неопределенности. Задачи и методы исследования допустимости в условиях случайной пропускной способности. М: ВЦ РАН, 1998г.

31. J. Pavon, J. Tomas. CORBA For Network and Service Management. IEEE Communications Magazine, March 1998.

32. Саати Т. Методы анализа иерархий. М.: Радио и связь, 1993.

33. Флинт Д. Локальные сети ЭВМ: архитектуры, принципы построения, реализация: Пер. с англ. -М.: финансы и статистика, 1986 359 с.

34. Якубайтис Э.А. Архитектура вычислительных сетей. М.: Статистика, 1980. - 279 с.

35. Irland M.I., Pujolle G. Comparison of Two Packet-Retransmission Techniques // IEEE Trans, on Inform. Theory, 1980. vol. IT-26. -№ 1. - P. 92-97.

36. Гойхман Э.Ш., Лосев Ю.И. Передача информации в АСУ. М.: Связь, 1976.- 280 с.

37. Коржик В.И., Финк JI.M. Помехоустойчивое кодирование дискретных сообщений в каналах со случайной структурой. М.: Связь, 1975. -272 с.

38. Вычислительные сети и сетевые протоколы. / Д. Девис, Д. Барбер, У. Прайс, С.Соломонидес. М.: Мир, 1982. - 563 с.

39. Сипсер Р. Архитектура связи в распределенных системах. Кн. 1. -М.: Мир, 1981.-435 с.

40. Сети ЭВМ. / В.М.Глушков, ЛА.Калиниченко, В.Г.Лазарев, В.И.Сифоров.- М.: Связь, 1977. 280 с.

41. Богуславский Л.Б. Управление потоками данных в сетях ЭВМ. М.: Энергоатомиздат, 1984. - 168 с.

42. Башарин Г.П., Куренков Б.Е. Исследование одной системы массового обслуживания с дискретным временем // Изв.АН СССР. Техническая кибернетика. 1983. - № 6. - С. 26-30.

43. Зелигер Н.Б., Чугреев О.С., Яновский Г.Г. Проектирование сетей и систем передачи дискретных сообщений. М.: Радио и связь, 1984. - 176 с.

44. Умрихин Ю.Д. Оптимизация сложных информационых систем. М.: Минрадиопром, 1983. - 125 с.

45. Роберте Л.Г. Эволюция метода коммутации пакетов // ТИИЭР. 1978. Т.66. -№ 11.-С. 11-20.

46. Яновский Г.Г. Сети передачи данных с коммутацией пакетов. Итоги науки и техники, сер. Электросвязь. - 1980. - Т. 11. - С. 3-47.

47. Johnson Т. Packet switching services and the data communications user. Pt. I. -London: Ovum, 1976. 153 p.

48. McQuillan J.M., Walden D.C. The ARPA Network Design Decisions // Comput. Networks. 1977. - Vol. 1. - № 5. - P. 243-289.

49. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М., Наука, 1965

50. Липаев В.В. Надежность программного обеспечения АСУ. М. Энергоиздат, 1981.55 . Филин Б. П. Методы анализа структурной надежности сетей связи. М.: Радио и связь, 1988.

51. J. Bowles. A Model for Assesing Computer Network Reliability. IEEE Southeast CON'89: Conf. and Exhib. Energy and Inf. Technol. Southeast. Columbia, S.C. Apr. 9-12, 1989: Proc. vol.2. NewYork (NY), 1989.

52. D. Richard Kuhn. Sources of failure in the Public Switched Telephone Network. Computer, April 1997.

53. Дрогсет Д. В поисках истинных причин сетевых проблем. М: LAN, 2001, №6, С.48-53.

54. Кульгин М. Маршрутизация и сигнализация. М: LAN, 1998, №7-8, С.24-27

55. Крейнес А. Вычислительные сети без проводов. М: LAN, 1996, №6, С.45-47.

56. Савельев А. Современные протоколы маршрутизации. М: LAN, 1998, №12, С.32-36.

57. Олифер В., Олифер Н. Искусство оптимизации трафика. М: LAN, 2001, №12, С.38-47

58. Шварц М. Сети ЭВМ. Анализ и проектирование. -М.: Радио и связь, 1981. -336 с.

59. Бертсекас Д., Галлагер Р. Сети передачи данных. Перевод с англ. Под редакцией Б.С. Цыбакова. -М.:"Мир", 1989.

60. Палюх Б.В., Федченко C.JL, Чохонелидзе А.Н. Надежные методы контроля за ходом вычислительного процесса. / Под ред. В.А.Путилова. Российская Академия Наук, Кольский научный центр, 1995.

61. Буч Г. Объективно-ориентированное проектирование (с примерами применения). Пер. с англ. М. Конкорд. 1992. -519с.

62. Гейн К., Сарсон Т. Структурный системный анализ: средства и методы. В 2-х ч. Перевод с английского под редакцией Козлинского А.В. М. : Эйтекс, 1993. 188с.

63. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М., Наука, 1965.

64. Липаев В.В. Надежность программного обеспечения АСУ. М. Энергоиздат, 1981.

65. Мамиконов А.Г., Цвиркун А.Д., Кульба В.В. Автоматизация проектирования АСУ. Энергоиздат, М., 1981

66. Вентцель Е.С. Овчаров JI.A Теория вероятностей и ее инженерные приложения. М.: Радио и связь, 1991,-470с.

67. Саати Т. Методы анализа иерархий. М.: Радио и связь, 1993.

68. Флинт Д. Локальные сети ЭВМ: архитектуры, принципы построения, реализация: Пер. с англ. -М.: финансы и статистика, 1986 359 с.83.3иглер К. Методы проектирования программных систем -М.: Мир. 1985. -328 с.

69. Автоматизированные информационные технологии в экономике: Учебник (под ред. проф. Г.А. Титоренко. М.: ЮНИТИ, 1998. - 400с.).

70. Мамзелев И.А., Добролюбов В.В., Воронин В.Г. Проектирование систем автоматизации: Учебное пособие. Часть I / МТУ СИ. М., 1997, 43 с.

71. Горнев В.Ф. Унификация построения математических моделей КИП.-Вестник МГТУ. Сер. Машиностроение. 1995. №3, с. 4 - 11.

72. Савинов A.M., Кузьмин Б.В. Совмещенное проектирование на базе интегрированной инструментальной программной среды и единой модели объект процесс - среда. - Программные продукты и системы. № 3, 1998. с. 38-41.

73. Бертсекас Д., Галлагер Р. Сети передачи данных. М.: Мир, 1989.

74. Гадасин В. А. Методы расчета структурной надежности сетей связи. М.: 1986.

75. Лясковский Ю. К. Frame Relay путь к цифровой суперсвязи. Журнал "Сети" №7, 1995.

76. Советов Б. Я., Яковлев С. А. Построение сетей интегрального обслуживания. Д.: Машиностроение, 1990.

77. Тоценко В. Г., Александров А. В., Парамонов Н. Б. Корректность, устойчивость, точность программного обеспечения. К.: Наукова думка, 1990.

78. Филин Б. П. Методы анализа структурной надежности сетей связи. М.: Радио и связь, 1988.

79. J. Bowles. A Model for Assesing Computer Network Reliability. IEEE Southeast CON'89: Conf. and Exhib. Energy and Inf. Technol. Southeast. Columbia, S.C. Apr. 9-12, 1989: Proc. vol.2. NewYork (NY), 1989.

80. D. Richard Kuhn. Sources of failure in the Public Switched Telephone Network. Computer, April 1997.

81. Юрасов П.В. Алгоритмизация оптимального проектирования информационных сетей на основе слабосвязных графов: Автореферат диссертации на соискание ученой степени канд. техн. наук: 05.13.12. -Воронеж, 2000. -17 е.: ил. Библиогр.:с. 16-17.

82. Назаров В.М.Принципы построения и развития региональной информационной вычислительной системы: Автореферат диссертации на соискание ученой степени канд.техн.наук:05.13.13. -Пенза, 1997. -18 е. -Библиогр. :с. 16-17.