Модели и методы повышения эффективности предоставления информационных услуг в центрах обработки данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Воробьёв, Андрей Игоревич

• Воробьёв, Андрей Игоревич
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Воробьёв, Андрей Игоревич

Введение.

ГЛАВА 1. РАЗРАБОТКА СТРУКТУРНО-ФУНКЦИОНАЛЬНОЙ

МОДЕЛИ ЦЕНТРА ОБРАБОТКИ ДАННЫХ.

1.1 Инфраструктура центра обработки данных.

1.2 Технологии и структуры обработки и хранения данных ЦОД.

1.3 Варианты применения ЦОД.

1.4 Характеристики ЦОД.

1.5 Соглашение о качестве обслуживания ЦОД.

1.6 Постановка задачи исследования.

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ УСЛУГ В ЦОД.

2.1 Модель оценки производительности ЦОД и запасов по пропускным способностям.

2.2 Модель распределения нагрузки в ЦОД.

2.3 Модели размещения ресурсов в системах хранения данных ЦОД.

2.4 Оценка надежности ЦОД.

Выводы по второй главе.

ГЛАВА 3. РАЗРАБОТКА МЕТОДОВ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ

УСЛУГ В ЦОД.

3.1 Понятие и определение эффективности ЦОД.

3.2 Метод управления нагрузкой, поступающей на ЦОД.

3.3 Обеспечение отказоустойчивости серверного комплекса ЦОД.

3.4 Метод отказоустойчивого размещения задач в кластере ЦОД.

3.5 Метод распределения памяти в кластере ЦОД.

Выводы по третьей главе.

ГЛАВА 4. ЭКСПЕРИМЕНТ НА МОДЕЛЯХ И МЕТОДАХ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ПРЕДОСТАВЛЕНИЯ ИНФОРМАЦИОННЫХ УСЛУГ В ЦОД.

4.1 Оценка производительности ЦОД и запасов по пропускным способностям.

4.2 Оценка влияния балансировки нагрузки на производительность

4.3 Сравнение вариантов размещения ресурсов в системах хранения данных ЦОД.

4.4 Оценка пропускной способности и вероятности потерь ЦОД.

4.5 Оценка отказоустойчивости ЦОД.

Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Модели и методы повышения эффективности предоставления информационных услуг в центрах обработки данных»

Успешная деятельность предприятия в условиях динамичного рынка и конкуренции во многом определяется возможностью быстрого принятия решений. Своевременное и качественное принятие решений возможно только при условии надежной и производительной работы ИТ-инфраструктуры компании. В свою очередь современные ИТ-системы динамично развиваются: появляется все больше различных бизнес-приложений и автоматизированных рабочих мест, увеличиваются объемы информации, требуется непрерывность предоставления ИТ-сервисов [28,29].

Основой построения ИТ-инфраструктуры компании является Центр обработки данных (ЦОД). Основная задача ЦОД - обеспечение гарантированной безотказной работы ИТ-инфраструктуры предприятия. В данном случае речь идет не только об автоматизации бизнес-процессов, но и о максимально надежном хранении данных, о гарантированном постоянном доступе к ним. ЦОД можно модернизировать, добавляя вычислительные ресурсы при внедрении новых бизнес-приложений, а также увеличивать объем под хранение данных, что означает возможность быстрой адаптации к изменяющимся требованиям бизнеса [41].

В первую очередь центры обработки данных востребованы крупными организациями, такими как (электронное правительство, госуслуги), крупными организациями, такими как, банки, страховые и торговые корпорации, предприятия добывающей отрасли, телекоммуникационные компании (биллинговые системы, хостинг, всевозможные \УеЬ-сервисы и социальные службы). Все они используют сложные бизнес-приложения, и их деятельность зависит от надежности функционирования ИТ-инфраструктуры [12,15].

Важнейшими преимуществами создания ЦОД являются консолидация вычислительных мощностей и систем хранения. Известно, что централизованное управление ИТ-инфраструктурой и информационными системами эффективнее, чем в случае распределенного неоднородного решения. К тому же проще обеспечить наблюдение за единым комплексом и защиту от возможных сбоев [28].

В тоже время растущие потребности бизнеса необходимо удовлетворить в условиях ограниченных ресурсов: надо хранить больше данных в выделенном пространстве, быстрее производить вычисления, не потребляя и не выделяя слишком много энергии, передавать больше информации по имеющимся каналам связи, обеспечивать максимальную степень готовности эксплуатируемых ИТ-систем. И всё это с ограниченным финансированием. В таких условиях грамотное проектирование ЦОД является ключевым звеном для достижения эффективной работы предприятия, а указанные ограничения определяют выбор используемых технологий и оборудования [63].

Известно, что в области ИТ-систем высокой доступности ситуация постоянно и стремительно меняется. Отсутствие единого подхода к организации ЦОД, стандартов проектирования и эксплуатации различных центров обработки и северных помещений ставят проблему выработки системного подхода к реализации инфраструктуры, а также разработки методов и моделей функционирования ЦОД на новый уровень. Появление опыта в виде стандартов, моделей и методов позволит унифицировать реализацию ЦОД и упростить внесение изменений в его инфраструктуру тем самым способствовать тиражируемости и масштабируемости решений [12,15].

В отсутствии такого опыта легко поддаться искушению и предпочесть самые последние разработки. Очевидно, что рациональным является выбор, оправданный с экономической и технологической точек зрения той инфраструктуры, которая обеспечивала бы долгосрочную защиту инвестиций и позволяла компании выполнять текущие задачи и развиваться. Объемы информации в будущем будут только расти. Продолжающийся рост таких секторов Интернет, связанных с бизнесприложениями, как электронная коммерция, платежи, коммуникации требуют соответствующей инфраструктуры. Необходимо убедиться, что в будущем есть возможность обеспечить экономически эффективное наращивание и расширение

ЦОД, потому что перебои в электронных услугах могут иметь существенные 5 экономические последствия, как для отдельных предприятий, так и для государственных структур и секторов экономики [28,29,63].

Особенное значение данная проблема приобретает в условиях экономического кризиса, который усилил дефицит ресурсов. Предприятия сокращают бюджеты на ИТ, меньше вкладывают в долговременные проекты вообще и в ЦОД в частности. Первостепенной становится задача создания легких, недорогих и в то же время эффективных решений, отвечающих требованиям бизнес-заказчиков. Основная проблема состоит в том, как в условиях постоянного увеличения стоимости ресурсов получать максимальную отдачу от их эксплуатации. Отсюда возникают ключевые вопросы, которые необходимо решать при реализации ЦОД, - каким образом добиться увеличения основных показателей (надежности, производительности и т.д.) при минимизации затрат (энергопотребление, администрирование), учесть возможный рост нагрузки, предусмотреть восстановление после сбоев и высокую доступность критически важных приложений и сервисов [44,62].

Сказанное говорит об актуальности разработки моделей и методов повышения эффективности предоставления информационных услуг в центрах обработки данных, учитывающих открытые стандарты, что способствует минимизации проблем взаимодействия при масштабировании ЦОД.

Теория моделирования сложных систем и их элементов развита такими отечественными учеными, как В.А. Ершов, Г.П. Захаров, Ю.Ф. Кожанов, М.О. Колбанев, А.П. Кулешов, О.И. Кутузов, В.Г. Лазарев, И.А. Мизин, H.H. Мошака, Ю.И. Рыжиков, Б.Я. Советов, Т.М. Татарникова, О.С. Чугреев, С.А. Яковлев. Оценка вероятностно-временных характеристик систем, оптимизация и распределение ресурсов рассматривались в работах зарубежных ученых: JI. Клейнрок, Д. Мартин, У. Столлингс, Э. Таненбаум, М. Шварц и другие. Работы этих и ряда других ученых составляют теоретическую базу моделирования систем, в том числе отдельных узлов, кластеров, центров обработки данных, сетей хранения данных и их элементов [3,5,7,18,19,21,22,36, 46,51,52,53,61,64,65].

Стохастический характер задач, обрабатываемых в ЦОД (транзакции, запросы, пользовательские сессии, заявки) предопределяют использование моделей теории сетей массового обслуживания (СеМО) для оценки их вероятностно-временных характеристик (ВВХ) [18,21,51].

Модели СеМО не в состоянии полностью отразить сложные и многообразные информационные процессы, выполняющиеся в ЦОД. Наиболее разработана теория экспоненциальных СеМО, получены выражения для расчета их ВВХ. Вместе с тем для возможности использования аналитических моделей СеМО необходимым является предположение о независимости (Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. - М.: Мир, 1979. - 600 е.), суть которого состоит в том, что времена передачи заявок по разным каналам связи предполагаются независимыми случайными величинами. В то же время, очевидно, что длительности обслуживания заявки пропорциональны длине этой заявки и, значит, зависимы. Эти особенности следует учитывать при выборе альтернативных вариантов расчета и оценки характеристик ЦОД.

Сказанное говорит о важности научной задачи разработки моделей и методов эффективности функционирования ЦОД при предоставлении информационных услуг, имеющей большое значение для экономики страны.

Цель работы и задачи исследования. Целью работы является повышение эффективности функционирования центров обработки данных, предоставляющих информационные услуги.

Для достижения названной цели необходимо решение следующих задач:

1. Разработать структурно-функциональную модель центра обработки данных.

2. Разработать комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Разработать методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Объектом исследования являются центры обработки данных, выполненные в виде консолидации кластеров обработки и систем хранения данных.

Предметом исследования являются закономерности процессов 7 функционирования центров обработки данных при предоставлении информационных услуг.

Методы исследования. Для решения поставленных задач, в работе используются математические методы системного анализа, теории вероятности и математической статистики, эволюционных алгоритмов и теории массового обслуживания.

Научная новизна работы состоит в разработке моделей и методов повышения эффективности предоставления информационных услуг в ЦОД, позволяющих обеспечить соглашение о качестве обслуживания клиентов.

Новые научные результаты:

1. Структурно-функциональная модель центра обработки данных отличается выделением набора структурных элементов и их функционального назначения, присущих большинству современных ЦОД, что позволяет более полно описывать процессы предоставления информационных услуг.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных отличается учетом многоэтапности обработки клиентского запроса, что дает возможность оценить необходимые требования к производительности ЦОД.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработки данных учитывают зависимость показателей эффективности от характеристик ЦОД, что позволяет обеспечивать необходимое качество обслуживания клиентов.

Научные положения, выносимые на защиту:

1. Структурно-функциональная модель центра обработки данных.

2. Комплекс моделей оценки качества предоставления информационных услуг в центрах обработки данных.

3. Методы повышения эффективности предоставления информационных услуг в центрах обработки данных.

Достоверность научных результатов и выводов подтверждается: корректностью математических выкладок, обоснованностью используемых 8 ограничений, корректностью интерпретации в предметной области, результатами моделирования.

Научная и практическая ценность диссертационной работы заключается в том, что модели и методы повышения эффективности предоставления услуг в ЦОД можно рассматривать как единую технологию обеспечения необходимого качества обслуживания клиентов. Полученные результаты моделирования представляют практическую ценность при выборе архитектуры центров обработки данных.

Результаты работы внедрены в учебный процесс СПбГЭТУ (ЛЭТИ), СПбГУСЭ, СПбНИУ ИТМО и используются при проведении лабораторных работ, а также в курсовом и дипломном проектировании по темам, связанным с функционированием ИТ-систем, на кафедре Автоматизированных систем обработки информации и управления.

Апробация результатов работы. Основные положения и результаты диссертационной работы представлялись на XII международной конференции «Информатика: проблема, методология, технологии» (Воронеж, 9-12 февраля 2012 г.); XIII международной конференции «Региональная информатика (РИ-2012)» (Санкт-Петербург, 24-26 октября 2012 г.); международной конференции «Региональная информатика», (Санкт-Петербург, 1-3 марта 2005 г.); второй всероссийской конференции «Абонентский доступ в сетях следующего поколения» (Санкт-Петербург, 2005 г.) и на научно-технических конференциях профессорско-преподавательского состава научных сотрудников и аспирантов СПбГУТ им. проф. М.А. Бонч-Бруевича в 2006 - 2012 гг.

Публикации. По теме диссертационной работы опубликовано 12 научных работ, из них - 3 статьи из перечня изданий, рекомендованных ВАК, и 7 -работы в научных трудах международных и всероссийских конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 77 наименований. Основная часть работы изложена на 140 страницах машинописного текста.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Воробьёв, Андрей Игоревич

Основные результаты работы заключаются в следующем.

1) Предложена структурно-функциональная модель центра обработки данных, включающая описания:

- инфраструктуры ЦОД на уровне структур организации серверного комплекса и технологий организации хранения данных;

- характеристик качества обслуживания клиентов ЦОД;

- моделей услуг, предоставляемых ЦОД;

2) Разработан комплекс моделей процессов предоставления информационных услуг центрами обработки данных, включающий:

- модель оценки характеристик производительности ЦОД и запасов по пропускным способностям, в том числе с разделением запросов на классы;

- модель балансировки нагрузки в серверном комплексе ЦОД;

- модель размещения ресурсов в системах хранения данных ЦОД;

3) Предложены методы, позволяющие повысить эффективность функционирования центров обработки данных:

- метод управления нагрузкой, поступающей на ЦОД;

- метод обеспечения отказоустойчивости серверного комплекса ЦОД;

- метод распределения памяти в кластере ЦОД.

4) Получены экспериментальные соотношения вероятностно-временных характеристик, показывающие влияние различных внешних и внутренних факторов на эффективность функционирования ЦОД.

Заключение

В рамках диссертационной исследования получено решение важной научно-технической задачи, заключающейся в разработке моделей для оценки эффективности функционирования центров обработки данных и методов, позволяющих повысить эффективность ЦОД.

Применение разработанных моделей и методов позволяет улучшить характеристики качества обслуживания проектируемого ЦОД.

Список литературы диссертационного исследования кандидат технических наук Воробьёв, Андрей Игоревич, 2012 год

1. Авен О. И. , Гурин Н. Н., Коган Я. А. Оценка качества и оптимизация вычислительных систем. - М.: Наука , 1992. - 464 с.

2. Баранова С.С. «Динамическая оптимизация распределения данных по узлам вычислительной сети» http://www.masters.donntu.edu.ua/2007/ kita/baranova/library/index.htm Донецкий национальный технический университет.

3. Бендерская E.H., Колесников Д.Н. и др. Моделирование систем с использованием теории массового обслуживания. Учебное пособие под ред. д.т.н. Д.Н. Колесникова. СПб.: СПб ГПУ, 2003. 180 с.

4. Богданов A.B., Корхов В.В., Мареев В.В., Станкова E.H. Архитектуры и топологии многопроцессорных вычислительных систем. М. :ИНТУИТ.РУ, 2004.- 176 с.

5. Бочаров П.П. Сеть массового обслуживания с сигналами со случайной задержкой//Автоматика и телемеханика. 2002. - №9. - С.90-101.

6. Бройдо B.JI. Вычислительные системы, сети и телекоммуникации. Учебник для вузов. СПб.: Питер, 2002г.- 688 с.

7. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 с.

8. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ, 2002. 608 с.

9. Воробьёв А.И. Оценка вероятностей блокировки заявок в мультисервисных сетях. 59-я НТК студентов, аспирантов и молодых специалистов СПбГУТ им. проф. М.А. Бонч-Бруевича, 23 27 мая 2005 г. Тезисы доклада. - СПб., 2005.

10. Воробьёв А.И. Метод расчёта запаса по пропускным способностям центра обработки данных. XII международная конференция «Информатика: проблема, методология, технологии, Воронеж, 9-12 февраля 2012 г.

11. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных систем. Учебное пособие 2-е издание, дополненное. Новгород: НГУ, 2003

12. Голубев Д., Сети хранения 20.03.2003. http://www.citforum.idknet.com/ nets/articles/nethran.shtml

13. Дубинин В. Проектирование и реализация распределенных систем на основе ЛВС. Автореферат на соискание ученой степени кандидата технических наук. Пензенский государственный университет, 2005.

14. Информационные материалы рабочей группы IEEE по кластерным вычислениям (http://www.ieeetfcc.org )

15. Как хранить данные: SAN, NAS или DAS http://www.bcc.ru/ press/articles/howtostoredata.html

16. JI. Кассел, Р. Остинг Компьютерные сети и открытые системы. М.: Техносфера, 2003. 592 с.

17. Кен Сен-Сир Серверная роль клиентского доступа Exchange Server: балансировка нагрузки серверов/ Windows IT Pro» , № 02 , 2011

18. Клейнрок Л. Вычислительные системы с очередями: Пер. с англ. -М.:Мир, 1979.-600 с.

19. Клейнрок Л. Теория массового обслуживания Пер. с англ. М.: Машиностроение, 1979. - 430 с.

20. Кожанов Ю.Ф., Колбанев М.О. Технология инфокоммуникации. -Курск: Науком, 2011. 260 с.

21. Колбанев М.О., Яковлев С.А. Модели и методы оценки характеристик обработки информации в интеллектуальных сетях связи. СПб.: изд-во СПбГУ, 2002. 230 с.

22. СПбГЭТУ «ЛЭТИ». СПб., 2003. - 32 е.136

23. Колбанёв М.О., Воробьёв А.И., Матяшов П.А. Обзор технологий абонентского доступа инфокоммуникационных сетей. Санкт-Петербургская международная конференция «Региональная информатика», 1-3 марта 2005. Тезисы доклада. СПб, 2005.

24. Кобанёв М.О., Воробьёв А.И. Матяшов П.А. Модель в мультисервисной сети абонентского доступа. Вторая всероссийская конференция «Абонентский доступ в сетях следующего поколения», 2005. Тезисы доклада. СПб., 2005

25. Кобанёв М.О., Нестеренко В.Д., Воробьёв А.И. Анализ характеристик инфокоммуникационной системы с неординарным потоком заявок на обслуживание. Труды учебных заведений связи, 2006. № 175

26. Колбанёв М.О., Татарникова Т.М., Воробьёв А.И., Модель балансировки нагрузки в вычислительном кластере центра обработки данных//Информационно-управляющие системы, №3, 2012. С. 37-41.

27. Кормильцев А.И. Как построить оптимальную систему хранения данных//Сети и системы связи. №11, 2002. С. 52-58.

28. Корпоративные системы хранения данных. Источник: Компьютер Пресс, Октябрь 27, 2006.

29. Крухмалев В.В., Гордиенко В.Н., Моченов А.Д., Иванов В.И., Бурдин В.А., Крыжановский A.B., Марыкова JI.A. Основы построения телекоммуникационных систем и сетей. М.: Горячая линия - Телеком, 2004. -510 с.

30. Крюков В.А. Коммуникации в распределенных системах Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ на сайте http://www.mpi-forum.org.

31. Дж. Куроуз, К.Росс Компьютерные сети. СПб.: Питер, 2004. 765 с.137

32. Кутузов О.И., Татарникова Т.М., Петров К.О. Распределенные информационные системы управления: Учебное пособие по курсовому проектированию. СПб: СПбГУТ, 2003. 42 с.

33. Ледяев А.Ю. Использование кластеров распределения нагрузки в обслуживании системы визуализации ГИС/Труды ГУ "ВНИИГМИ-МЦД" вып. 174, 2010.

34. Мошак H.H., Рудинская С.Р. Основы построения транспортной системы сети телекоммуникаций. Минск: ФУАинформ, 2006. 109 с.

35. Миков А.И., Замятина Е.Б. Распределенные системы и алгоритмы. Электронный ресурс http://www.intuit.rU/department/algorithms/distrsa/9/

36. Олифер В.Г., Олифер H.A. Компьютерные сети: принципы, технологии, протоколы: Учебник для вузов. 4-е изд. СПб.: Питер, 2010. - 943 с.

37. Олифер В.Г., Олифер H.A. Сетевые операционные системы Учебник для вузов. СПб.: Питер, 2001. 415 с.

38. С. Орлов ЦОД от и до: Автоматизация управления ЦОД//Журнал сетевых решений LAN. №5, 2010.

39. От хранения данных к управлению информацией/EMC- СПб.: Питер, 2010.-544 с.

40. Палмер М., Синклер Р. Проектирование и внедрение компьютерных сетей. СПб-БХВ-Петербург-2004.

41. Рузайкин Г.И. Философия ЦОД//Мир ПК, №11, 2008.138

42. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы 2-е изд. - М: Горячая линия-Телеком, 2008. - С. 452

43. Рыжиков Ю.И. Теория очередей и управление запасами. СПб.: Изд-во «Питер», 2001.-376 с.

44. Советов Б .Я, Воробьёв А.И. Применение методов оптимизации в задачах структуризации корпоративного центра обработки данных// Известия СПбГЭТУ "ЛЭТИ" №8, 2012. С. 41-46.

45. Советов Б.Я., Цехановский В.В. Информационные технологии. М: Высшая школа, 2006, 263 с.

46. Советов Б.Я., Цехановский В.В., Чертовский В.Д. Базы данных: теория и практика. М: Юрайт-Издат, 2012. 464 с.

47. Советов Б.Я., Цехановский В.В. Теоретические основы автоматизированного управления. М: Высшая школа, 2006. 464 с.

48. Советов Б.Я., Яковлев С.А. Моделирование систем. М: Юрайт-Издат, 2012.-343 с.

49. Советов Б.Я., Яковлев С.А. Моделирование систем. Практикум. М.: Высшая школа, 2005. - 296 с.

50. Суздалев A.B., Чугреев О.С. Передача данных в локальных сетях связи. Мю: Радио и связи, 1987. 168 с.

51. Уильям Столлингс Компьютерные системы передачи данных. Перевод с англ. М.: Издательский дом «Вильяме», 2002. - 896 с.

52. Уильям Столлингс Структурная организация и архитектура компьютерных систем. Перевод с англ. М.: Издательский дом «Вильяме», 2002. - 896 с.

53. В. Столлингс Современные компьютерные сети. СПб: Питер, 2003.

54. Э. Таненбаум Компьютерные сети /Пер.с англ. -СПб.Литер,2003.-877с

55. Э. Таненбаум Распределенные системы. Принципы и парадигмы /Пер.с англ. -СПб. Литер,2003.-877с.

56. Татарникова Т.М. Воробьёв А.И., Реализация сервиса балансировки нагрузки в центре обработки данных. XII международная конференция «Информатика: проблема, методология, технологии, Воронеж, 9-12 февраля 2012 г.

57. Технология NAS: сетевые хранилища данных http://www.ci.ru/ inform2203/p07-1 .htm

58. Центры обработки данных: актуальные проблемы и подходы/ «BYTE/Россия», №3 (123), март 2009.

59. Чугреев О.С., Зефиров С.Л. Модели локальных сетей передачи данных. Учебное пособие. Изд. ППИ, Пенза, 1988. - 45 с.

60. Шварц М. Сети связи: протоколы, моделирование и анализ. М.: Наука, 1992.-4.1. - 335 с.

61. Greyson Mitchem The Definitive Guide to Windows Server 2003 Terminal Services. Источник: http://www.tricerat.com/ebook/

62. A. Patel Security management for OSI networks//Computer Communications. 1992. Vol. 17, №7. P. 544-553.

63. Chakrvarthy S. The batch markovian arrival process: a review and future work//Advances in probability theory and stochastic processes. 2001/ - Р/ 21-39.

64. R.S. Engelschall Load balancing your web site: Practical approaches for distributing http traffic//Web Techniques Magazine, 3(5), May 1998.

65. Diagnosing SNA Gateways//Data Communications. March 21, 1992.

66. Hosting Service Providing Platform System and Method, 10/005,590/ October 26. 2001.

67. Dedication of Administrative Servers to Management of Server Function in a Multi-Server Environment, 10/826,280; April 19, 2004.

68. System, Computer Program Product and Method for Online Data Migration with Minimum Down-Time, 10/837,618; May 4, 2004.

69. System, method and computer program product for group scheduling of computer recourse, 10/793,881 08 Mar, 2004.

70. Virtual private server with isolation of system components, 10/703,594 10 Nov, 2003.

71. Configuration of a network of computer recourse, 10/304, 294 26 Nov, 2002.

72. Andrews G.R. Foundations of Multithreading, Parallel and Distributed Programming. Addison-Wesley, 2000 (русский перевод Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. М.: Издательский дом "Вильяме", 2003)