Модели и методы поддержки оптимального проектирования резервированных систем сбора и обработки информации кластерной архитектуры тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат технических наук Голубев, Иван Юрьевич

• Голубев, Иван Юрьевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Голубев, Иван Юрьевич

Введение.

Глава 1. Задачи автоматизации проектирования вычислительных систем кластерной архитектуры.

Выводы.

Глава 2. Модели поддержки автоматизированного проектирования отказоустойчивых кластерных систем.

2.1 Описание исследуемой системы.

2.2 Модель оценки надёжности системы.

2.3 Оценка надёжности ДВК.

2.4 Организация диспетчеризации запросов в кластере.

2.4.1 Оценка времени пребывания запросов в кластере.

2.4.2 Выбор количества диспетчеров.

2.4.3 Выбор доли обрабатываемых диспетчерами запросов.

2.5 Модель оценки среднего времени пребывания запросов в системе.

2.5.1 Модель оценки среднего времени пребывания запросов в локальном кластере.

2.5.2 Модель оценки среднего времени пребывания запросов в коммутационной подсистеме.

2.5.3 Модель оценки среднего времени пребывания запросов в общедоступном кластере.

2.6 Имитационная модель системы.

Выводы.

Глава 3. Оптимальное проектирование структуры системы и процесса распределения запросов.

3.1 Оптимизация структуры системы.

3.2 Пример оптимизации структуры системы.

3.3 Оптимизация процесса перераспределения запросов.

3.4 Пример оптимизации перераспределения запросов.

Выводы.

Глава 4. Методика проектирования вычислительных систем кластерной архитектуры с дублированием ресурсов.

4.1 Постановка задачи проектирования.

4.2 Методика проектирования.

4.2.1 Определение базовой конфигурации системы.

4.2.2 Оптимизация структуры системы на основе предлагаемых моделей

4.2.3 Оптимизация организации системы диспетчеризации.

4.2.4 Выбор и оптимизация процесса перераспределения запросов на основе предлагаемых аналитических моделей.

4.2.5 Уточнение результатов оптимизации на основе проведения имитационных экспериментов.

Выводы.

Список сокращений.

Заключение диссертации по теме «Системы автоматизации проектирования (по отраслям)», Голубев, Иван Юрьевич

Выводы

Разработана методика проектирования отказоустойчивых резервированных ВС сбора и обработки информации кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и требованиями достоверности результатов, при организации дублированных вычислений для критичных приложений.

Построение системы проектирования на основе предлагаемых методик и моделей позволяет повысить качество проектных работ в результате автоматизации процесса выбора оптимальной структуры системы и вариантов организации перераспределения запросов, учёта возможности использования в качестве базовых вычислительных узлов дублированных вычислительных комплексов, наличия запросов различной критичности и требования дублированных вычислений для критичных запросов, а также получить обоснованные решения по построению систем сбора и обработки информации кластерной архитектуры с прогнозируемым уровнем надежности и производительности.

ЗАКЛЮЧЕНИЕ

В диссертационном исследовании предложена методика оптимального проектирования отказоустойчивых систем сбора и обработки информации при объединении дублированных компьютерных узлов в кластеры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов.

При этом:

1. предложен набор моделей и средств поддержки процесса автоматизации оптимального проектирования, включая модели оценки надёжности и времени пребывания запросов различной критичности в системах с объединением дублированных компьютерных узлов в кластеры, при возможности перераспределения запросов между узлами кластеров с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений;

2. предложена постановка и решена задачи оптимизации структуры с объединением дублированных и сдублированных вычислительных систем в кластеры при возможности перераспределения запросов между ними;

3. предложен набор средств поддержки (алгоритмы, аналитические и имитационные модели, программы в среде системы компьютерной математики) оптимизации структуры с объединением дублированных и сдублированных вычислительных систем в кластеры;

4. постановлена и решена задача оптимизации вычислительного процесса при адаптации к отказам, изменениям доступности и загруженности узлов системы кластеров, на основе перераспределения неоднородного потока запросов между дублированными узлами кластеров с учетом различной критичности запросов к времени и достоверности их обслуживания;

5. предложен набор средств поддержки оптимизации вычислительного процесса с учётом возможности адаптации к отказам, доступности и загруженности узлов при перераспределении неоднородного потока запросов различной критичности между дублированными узлами кластеров.

Список литературы диссертационного исследования кандидат технических наук Голубев, Иван Юрьевич, 2013 год

1. Половко, A.M. Основы теории надежности: учеб. пособие / A.M. Половко, C.B. Гуров. - СПб.: БВХ-Петербург, 2008. - 704 с.

2. Таненбаум, Э. Распределённые системы. Принципы и парадигмы / Э. Таненбаум, М. ван Стеен. СПб.: Питер, 2003. - 877 с.

3. Богатырев, В.А. К повышению надежности вычислительных систем на основе динамического распределения функций / В.А. Богатырев. // Известия высших учебных заведений. Приборостроение. -1981. № 8. - С. 62-65.

4. Богатырев, В.А. Распределение заданий в многомашинных вычислительных системах / В. А. Богатырев. // Известия высших учебных заведений. Приборостроение. -1986. № 5. - С. 43-47.

5. Bogatyrev, V.A. Exchange of Duplicated Computing Complexes in Fault tolerant Systems / V.A. Bogatyrev // Automatic Control and Computer Sciences. 2011. - Vol. 46. -№ 5.-P. 268-276.

6. Иванов, H.H. Резервирование в параллельных вычислительных системах, выполняющих комплексы взаимосвязанных работ / H.H. Иванов // Труды Шестой Международной конференции «Параллельные вычисления и задачи управления РАСО'2012». Том I. - С. 134-139.

7. Радченко, Г.И. Распределённые вычислительные системы / Г.И. Радченко. -Челябинск: Фотохудожник, 2012. 184 с.

8. Гнеденко, Б. В. Математические методы в теории надежности / Б. В. Гнеденко, Ю. К. Беляев, А. Д. Соловьев. М.: Наука, - 1965. - 524 с.

9. Рябинин, И.А. Надежность и безопасность структурно-сложных систем / И.А. Рябинин. СПб.: Политехника, 2000. - 248 с.

10. Ушаков, И.А. Вероятностные модели надежности информационно-вычислительных систем / И.А. Ушаков. М.: Радио и связь, 1991. - 132 с.

11. Черкесов, Г.Н. Функциональные методы обеспечения отказоустойчивости АСУ ТП / Г.Н. Черкесов // Приборы и системы управления. 1989. - №11. - С.1012.

12. Shooman, Martin L. Reliability of Computer Systems and Networks: Fault Tolerance, Analysis and Design / Martin L. Shooman. John Wiley and Sons Inc., New York, 2002. - 528 p.

13. Jalote, P. Fault Tolerance in Distributed Systems / Pankaj Jalote. Prentice Hall, 1994. -448 р.

14. Verissimo, P. Distributed Systems for System Architects / P. Verissimo, L. Rodriques. Kluwer Press, 2001. - 623 p.

15. Abd-El-Barr, M. Design and analysis of reliable and fault-tolerant computer systems / M. Abd-El-Barr. London : Imperial College Press, 2007. - 440 p.

16. Клейнрок JI. Вычислительные системы с очередями / JI. Клейнрок. М.: Мир, 1979.-600 с.

17. Алиев, Т.И. Основы моделирования дискретных систем / Т.Н. Алиев. -СПб.: СПбГУ ИТМО, 2009. 363 с.

18. Пономаренко, B.C. Методы и модели планирования ресурсов в GRID-системах : монография / B.C. Пономаренко, С.В. Листровой, С.В. Минухин, С.В. Знахур. X.: ВД «1НЖЕК», 2008. - 408 с.

19. Коваленко, В.Н. Управление заданиями в распределенной вычислительной среде / В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, Е.В. Хухлаев // Открытые системы. 2001. - № 5-6. - С. 22-28.

20. Clark, T. The New Data Center. New technologies are radically reshaping the data center / T. Clark. Brocade Bookshelf: San Jose, 2010.- 156 p.

21. Богатырев, В.А. Надежность вычислительных систем с функциональной реконфигурацией на основе перераспределения задач / В.А. Богатырев // Информационные технологии. 2001. - №7. - С. 22-27.

22. Богатырев, В.А. Объединение резервированных серверов в кластеры высоконадежной компьютерной системы / В.А. Богатырев, С.В. Богатырев // Информационные технологии. 2009. - №6. - С. 41-47.

23. Bogatyrev, V.A. Optimization and the Process of Task Distribution between Computer System Clusters / V.A. Bogatyrev, S.V. Bogatyrev, I.Yu. Golubev // Automatic Control and Computer Sciences. 2012. - № 3 (Vol. 46). - pp. 103-111.

24. Беззубов, В.Ф. Сравнительный анализ методов обмена в многопроцессорных системах / В.Ф. Беззубов // Вестник компьютерных и информационных технологий. 2006. - №4. - С. 51-56.

25. Cybenko, G. Dynamic load balancing for distributed memory multiprocessors / G. Cybenko // Journal of parallel and distributed computing. 1989. - №7, - pp. 279301.

26. Анисимов, C.A. Распределение нагрузки в децентрализованных гридах, обладающих свойствами тесного мира / С.А. Анисимов // Вестник ННГУ. 2011. - № 3. - С. 173-179.

27. Полторак, В.П. Метод повышения надежности информационных телекоммуникационных облаков путем внедрения гомогенности / В.П. Полторак // Вестник Национального технического университета Украины. 2012. - №51. -С. 97-105.

28. Hottmar, V. Analytical model of a weighted round robin service system / V. Hottmar, A. Bohumil // Journal of Electrical and Computer Engineering. 2012. -Article ID 374961.-6 p.

29. Башарин, Г.П. Управление качеством и вероятностные модели функционирования сетей связи следующего поколения: учеб. пособие. / Г.П. Башарин, Ю.В. Гайдамака, К.Е. Самуйлов, Н.В. Яркина. -М.: РУДН, 2008.

30. Курносов М.Г., Пазников A.A. Моделирование алгоритмов децентрализованного обслуживания потоков параллельных задач в GRID-системах / М.Г. Курносов, A.A. Пазников // Проблемы информатики. 2012. -№2. - С. 45-54.

31. Черкесов, Г.Н. Надежность аппаратно-программных комплексов / Г.Н. Черкесов. СПб.: Питер, 2005. - 479 с.

32. Голубев, И.Ю. Сравнительный анализ структур отказоустойчивых дублированных вычислительных комплексов / И.Ю. Голубев, В.А. Богатырев,

33. B.Ф, Беззубов // Информационно-измерительные и управляющие системы. -2011.-Т. 9. -№ 2. С. 08-12.

34. Богатырев, В.А. Организация межмашинного обмена в дублированных вычислительных комплексах / В.А. Богатырев, И.Ю. Голубев, В.Ф. Беззубов // Известия высших учебных заведений. Приборостроение. — 2012. Т. 55. - № 3.1. C. 8-13.

35. Финстербуш, Ш. Приоритетные дисциплины обслуживания мультисервисного трафика CAMEL-услуг: дис. . канд. техн. наук : 05.13.13 / Штефан Финстербуш. СПб., 2009. - 110 с.

36. Богатырев, В.А. Целочисленная оптимизация многоуровневых компьютерных систем в среде Mathcad / В.А. Богатырев, A.B. Осипов // Информационные системы и технологии: теория и практика. СПб.: ЛТА, 2012. -№2. - С. 24-30.

37. Авен, О.И. Оценка качества и оптимизация вычислительных систем / О.И. Авен, Н.Н. Гурин, Я.А.Коган. М.: Наука, 1982. - 464 с.

38. Майоров, С.А. Основы теории вычислительных систем / С.А. Майоров, Г.И. Новиков, Т.Н. Алиев, Э.И. Махарев, Б.Д. Тимченко. М.: Высшая школа, 1978. -408 с.

39. Боев, В.Д. Компьютерное моделирование: Пособие для курсового и дипломного проектирования / В.Д. Боев, Д.И. Кирик, Р. П. Сыпченко СПб.: ВАС, 2011.-348 с.

40. Шенброт, И.М. Проектирование вычислительных систем распределённых АСУ ТП / И.М. Шенброт, В.М. Алиев. М.: Энергоатомиздат, 1989. - 88 с.

41. Laprie, J.-С. Dependability Its Attributes, Impairments and Means. / B. Randell, J.-C. Laprie, H. Kopetz, B. Littlewood // Predictably Dependable Computing Systems. -1995.-pp. 3-24.

42. Голубев, И.Ю. Системы дублированных вычислительных комплексов с перераспределением запросов / И.Ю. Голубев // Научно-технический вестник информационных технологий, механики и оптики. 2012. - № 2 (78). - С. 65-69.

43. Богатырев, В.А. Выбор вариантов организации распределения запросов в системах предоставления информационных услуг / В.А. Богатырев, И.Ю. Голубев, Д.А. Нестеров // Технико-технологические проблемы сервиса. 2013. -№ 1. - С. 43-46.

44. Богатырев, В.А. Межмашинный обмен в двухмашинных вычислительных комплексах / В.А. Богатырев, И.Ю. Голубев, В.Ф. Беззубов // Перспективные разработки науки и техники: материалы междунар. конф. Варшава (Польша). -2011.

45. Голубев, И.Ю. Исследование структуры отказоустойчивой вычислительной сети / И.Ю. Голубев, В.А. Богатырев // XL Неделя науки СПбГПУ: материалы междунар. науч.-практ. конф. 2011. - С. 11-12.

46. Голубев, И.Ю. Эффективность двухмашинных вычислительных комплексов / И.Ю. Голубев, В.Ф. Беззубов, В.А. Богатырев // XL Неделя науки СПбГПУ: материалы междунар. науч.-практ. конф. 2011. - С. 28-30.

47. Голубев, И.Ю. Мобильная система информационных киосков / И.Ю. Голубев // Материалы VII междунар. конф. Стратегия качества в промышленности и образовании. Технический университет г. Варна, Болгария. -2011.-С. 521-523.

48. Голубев, И.Ю. Распределение запросов в дублированных вычислительных комплексах при накоплении отказов / И.Ю. Голубев // Сборник тезисов докладов конгресса молодых ученых, Выпуск 1. Труды молодых ученых. СПб: НИУ ИТМО, 2012.-С. 111.

49. Голубев, И.Ю. Мобильная инфраструктура информационных сервисов / И.Ю. Голубев // Сборник материалов «Исследования молодежи экономике, производству, образованию. II Всероссийская молодежная науч.-практ. конф.» -Сыктывкар, СЛИ. - 2011. - С.54-55.

50. Голубев, И.Ю. Управление потоками запросов в кластере отказоустойчивых дублированных вычислительных комплексов / И.Ю. Голубев // Сборник тезисов докладов конф. молодых ученых, Выпуск 1. СПб: СПбГУ ИТМО, 2011. - С. 13.

51. Голубев, И.Ю. Организация мобильной инфраструктуры киосков данных / И.Ю. Голубев // Сборник тез. докл. конф. молодых ученых, Выпуск 1. Труды молодых ученых СПб.: СПбГУ ИТМО, 2010. - С. 85-86.

52. Богатырев, В. А. Организация мобильной инфраструктуры информационного сервиса / В.А. Богатырев, И.Ю. Голубев // Материалы

53. Всероссийской науч.-практ. конф. «Проблемы развития предпринимательства в условиях кризиса». СПбГУСЭ, 2010. - С .300-303.

54. Богатырев, В.А. Исследование вариантов построения двухмашинных вычислительных комплексов / В.А. Богатырев, И.Ю. Голубев, В.Ф. Беззубов // Труды СПбГЛТА. Экономические проблемы лесного сектора. СПб.: JITA, 2011. -С. 14-20.

55. Охорзин, В.А. Прикладная математика в системе MATHCAD : учебное пособие / В.А. Охорзин. СПб.: Издательство «Лань», 2009. - 352 с.

56. Свечников, A.A. Прикладные методы теории марковских процессов : учебное пособие / A.A. Свечников. СПб.: Издательство «Лань», 2009. - 192 с.

57. Микони, C.B. Многокритериальный выбор на конечном множестве альтернатив : учебное пособие / C.B. Микони. СПб.: Издательство «Лань», 2009. - 272 с.

58. Бельков, В.Н. Автоматизированное проектирование технических систем: Учебное пособие / В.Н. Бельков, В.Л. Ланшаков. М.: Издательство «Академия Естествознания», 2009. - 143 с.

59. Нестеров, А.Л. Проектирование АСУТП: Методическое пособие. Книга 2. / А.Л. Нестеров. СПб.: Издательство ДЕАН, 2009. - 944 с.

60. Денисенко, В.В. Компьютерное управление технологическим процессом, экспериментом, оборудованием / В.В. Денисенко. М.: Горячая линия-Телеком, 2009. - 608 с.

61. Барлоу, P. Статистическая теория надёжности и испытания на безотказность / Р. Барлоу, Ф. Прошан. М.: Наука, 1984. - 328 с.

62. Бусленко, В.Н. Автоматизация имитационного моделирования сложных систем / В.Н. Бусленко. М.: Наука, 1977. - 240 с.

63. Коваленко, И.Н. Методы расчёта высоконадёжных систем / И.Н. Коваленко, Н.Ю. Кузнецов. М.: Радио и связь, 1988. - 176 с.

64. Офицеров, А.И. Моделирование процессов информационного обмена с приоритетами в сетях передачи данных промышленных предприятий / А.И. Офицеров, С.И. Афонин, А.В. Демидов // Информационные системы и технологии. 2010. - № 3. - С. 126-133.

65. Поспелов, И.Г. Разработка и исследование методов анализа и обеспечения отказоустойчивости управляющих иерархических систем реального времени : диссертация на соискание ученой степени кандидата технических наук / И.Г. Поспелов. М., 2002. - 189 с.

66. Райншке, К. Оценка надежности систем с использованием графов / К. Райншке, И.А. Ушаков. М.: Радио и связь, 1988. - 209 с.

67. Рябинин, И.А. Логико-вероятностное исчисление как аппарат исследования надежности и безопасности структурно-сложных систем / И.А. Рябинин // АиТ, М.: Наука. -2003,-№7. -С. 178-186.

68. Таненбаум, Э. Компьютерные сети. 5-е изд. / Э.Таненбаум. СПб.: Питер, 2012.-960 с.

69. Теслер, Г.С. Концепция создания вычислительных средств с высоким уровнем отказоустойчивости / Г.С. Теслер // Математические машины и системы. 2002. - №. 2.-С. 176.

70. Нестеров, А.Л. Проектирование АСУТП: Методическое пособие. Книга 1. / А.Л. Нестеров. СПб.: Издательство ДЕАН, 2006. - 552 с.

71. Норенков, И.П. Основы автоматизированного проектирования: Учебник для вузов. 2-е изд., перераб. и доп. / И.П. Норенков. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 336 с.

72. Корячко, В.П. Теоретические основы САПР: Учебник для вузов / В.П. Корячко, В.М. Курейчик, И.П. Норенков. М.: Энергоатомиздат, 1987. - 400 с.

73. Вишневский, В.М. Теоретические основы проектирования компьютерных сетей / В.М. Вишневский. М.: Техносфера, 2003. - 512 с.

74. Новиков, A.M. Методология / A.M. Новиков, Д.А. Новиков. М.: СИНТЕГ, 2007. - 668 с.