Инструментальный комплекс для разработки и применения гетерогенных распределенных вычислительных сред тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Корсуков, Александр Сергеевич

• Корсуков, Александр Сергеевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Корсуков, Александр Сергеевич

Введение.

Глава 1. Распределенные вычисления.

1.1. Основные понятия.

1.2. Вычислительные кластеры.

1.3. Системы управления заданиями.

1.4. Кластерная система Condor.

1.5. Технология Grid.

1.5.1. Программное обеспечение Grid.

1.5.2. Проекты Grid.'.

1.6. Обзор веб-технологий.

Глава 2. Способы и средства построения распределенной вычислительной среды.

2.1. Модель распределенной вычислительной среды.

2.2. Пользовательский интерфейс.

2.3. Инструментальный комплекс DISCENT.

2.4. Конструктор.

2.4.1. Построение модели распределенной вычислительной среды.

2.4.2. Язык заданий.

2.4.3. Командный язык.

2.4.4. Создание веб-форм.

2.5. База данных.

2.6. Система WIM.

Глава 3. Построение распределенных вычислительных сред.

3.1. Этапы организации и применения распределенных вычислительных сред.

3.2. Создание Grid.

3.2.1. Архитектура Grid.

3.2.2. Децентрализованное управление потоками заданий в Grid.

3.3. Моделирование потоков заданий в Grid.

3.3.1. Генератор потоков заданий.

3.3.2. Результаты вычислительного эксперимента.

3.4. Решение практических задач в Grid.

3.5. Организация вычислительного кластера вуза.

Введение диссертации (часть автореферата) на тему «Инструментальный комплекс для разработки и применения гетерогенных распределенных вычислительных сред»

Актуальность темы. Применение методов математического моделирования при решении фундаментальных и прикладных задач на ЭВМ зачастую требует больших затрат машинного времени, а также значительных объемов оперативной памяти и дискового пространства [30]. Одним из путей решения данной проблемы является использование суперкомпьютерной вычислительной техники. Последнее обстоятельство является решающим для самого широкого внедрения технологий суперкомпьютинга в научно-исследовательскую деятельность и формирования на их основе важного сегмента наукоемких технологий.

На сегодняшний день существует большое число различных видов параллельных и распределенных вычислительных систем. По этим системам имеется обширная библиография [1, 3, 6, 11, 20, 21, 29, 32, 38, 39, 65]. Основываясь на анализе этих и других работ и принимая по внимание функциональные возможности высокопроизводительной вычислительной техники, можно выделить следующие основные ее классы: мультикомпьютеры, симметричные мультипроцессоры с общей памятью (SMP - Symmetric Multi Processing), массово-параллельные системы (МРР - Massively Parallel Processing) и вычислительные кластеры.

Мультикомпьютеры представляют собой совокупность отдельных вычислительных установок, каждая из которых управляется своей операционной системой (ОС). Вычислительные установки мультикомпьютера, как правило, не имеют общих структур (кроме сети), обладают высокой степенью автономности. Они могут состоять из отдельных компьютеров или представлять собой различные комбинации кластеров, SMP- или МРР-систем.

SMP-системы состоят из совокупности процессоров (до нескольких десятков), разделяющих общую оперативную память с единым адресным пространством и объединенных коммуникационной средой. Степень масштабируемости таких систем ограничена техническими возможностями реализации одинакового для всех процессоров доступа к оперативной памяти.

МРР-системы характеризуются большим числом вычислительных узлов, включающих один или несколько процессоров, модуль локальной оперативной памяти и устройства ввода/вывода. На каждом вычислительном узле работает своя копия ОС. Все узлы объединяются специализированной коммуникационной средой.

Кластер представляет собой набор вычислительных узлов или компьютеров, объединенных единой коммуникационной средой. Кластеры получили широкое распространение благодаря высокому уровню готовности при относительно низких затратах. Этому свидетельствуют тенденции увеличения доли кластеров в списках самых мощных компьютеров, как в мире (см., например, ТОП 500, http://www.top500.org), так и в России (см., например, ТОП 50, http://www.supercomputers.ru). Действительно, для создания вычислительного кластера, зачастую, на компьютеры локальной сети достаточно установить специальное системное программное обеспечение (ПО) для управления заданиями пользователей1. Кроме того, с позиций удобства масштабирования кластерные архитектуры допускают неограниченное наращивание узлов. Широкими потенциальными возможностями для организации кластеров обладают вузы, имеющие, как правило, значительное число единиц вычислительной техники в рамках компьютерных классов.

В последнее время для решения ресурсоемких фундаментальных и прикладных задач2 создаются различные распределенные и параллельные вычислительные системы и среды, традиционно рассматриваемые (см., например,

1 Задание пользователя — это задача, сформулированная в терминах используемого системного ПО и готовая к запуску на выполнение. Задание пользователя содержит информацию о необходимых вычислительных ресурсах, исполняемой прикладной программе, ее входных и выходных данных.

2 Под ресурсоемкой задачей в диссертации понимается задача вычислительного характера, решение которой требует выполнения прикладного ПО и использования больших объемов процессорного времени, оперативной памяти и дискового пространства.

18]) как совокупность вычислительных узлов, объединенных локальной или глобальной коммуникационной сетью. В частности, активно применяется технология создания специальной вычислительной сети, получившей название Grid [62]. Эта технология базируется на интеграции географически распределенных информационно-вычислительных и коммуникационных ресурсов и их совместном использовании в процессе вычислений. Инфраструктура Grid включает [20] объединенные телекоммуникационной средой средства вычислений и обработки информации (суперкомпьютеры, вычислительные кластеры, отдельные персональные компьютеры, системы хранения данных и др.) и системное ПО, предназначенное для управления процессом выполнения заданий пользователей в этой среде.

Grid, организованная на базе кластеров, в большинстве случаев ее использования обеспечивает возможность удаленного доступа к ресурсам (узлам) вычислительной сети и позволяет: определить вычислительные возможности конкретного узла (число процессоров, объем оперативной памяти и т.п.) и степень его работоспособности; выполнить на этом узле некоторое независимое задание или обработать один из блоков данных при решении «большой» задачи, допускающей распараллеливание по данным (см., например, [5, 12]).

Однако существуют типы научно-исследовательских задач, требующих более широких возможностей [31, 40]: обеспечения вычислительных услуг нетиражируемых программных комплексов, размещенных в узлах Grid;

- выполнения ряда взаимозависимых заданий [9], составляющих процесс решения одной общей задачи и требующих интеграции распределенных вычислительных ресурсов на основе автоматического планирования последовательности их использования.

Анализ существующих систем управления заданиями (СУПЗ) для кластеров [39] показывает, что как правило в этих системах реализовано централизованное управление автономными заданиями. Между тем решение задач с боль6 шим числом подзадач и информационно-логических связей между ними в значительной степени увеличивает нагрузку на управляющий компьютер кластера и может привести к снижению работоспособности всей вычислительной системы в целом [16]. Кроме того, формы ведения вычислительных работ в Grid, обусловленные используемым для ее организации сложным системным ПО, во многом ориентированы на специалистов с достаточно высоким уровнем квалификации в области системного программирования. Эти обстоятельства сдерживают широкое применение Grid специалистами-прикладниками и актуализируют вопросы создания «дружественных» средств доступа к ресурсам Grid и децентрализованных способов управления вычислительным процессом [59].

Таким образом, решение перечисленных выше проблем в рамках распределенной вычислительной среды (РВС) требует применения специализированных способов организации доступа пользователей к ее ресурсам и средств формулировки соответствующих постановок задач и спецификации заданий по их решению, а также методов последующего управления потоком заданий в этой среде. В качестве РВС может выступать как отдельный вычислительный кластер, так и Grid в целом.

Цель работы состоит в разработке способа создания гетерогенных РВС, предоставляющих широкий выбор средств для решения ресурсоемких научно-исследовательских задач различных типов и обеспечивающих возможность интеграции с другими РВС. Достижение указанной цели осуществляется путем реализации программного комплекса, предназначенного для инструментальной поддержки основных этапов построения и применения РВС.

Объектом исследования является организация вычислительного процесса решения ресурсоеких фундаментальных и прикладных научных задач в РВС.

Предмет исследования - построение Grid на базе вычислительных кластеров. Важным требованием к такой Grid является обеспечение возможности включения в ее вычислительную инфраструктуру кластеров, организованных на разных программно-аппаратных платформах. 7

Методы исследования. При решении поставленных задач использовались методы системного программирования и искусственного интеллекта для организации, планирования и применения распределенных вычислительных ресурсов, а также методы разработки веб-приложений.

На защиту выносятся следующие основные результаты:

1. Способ децентрализованного управления потоками заданий, позволяющий (в отличие от известных) распределять задания в вычислительной среде в зависимости от типов решаемых задач. Для каждого типа задач разработан специализированный планировщик заданий.

2. Средства организации унифицированного веб-ориентированного доступа к распределенным вычислительным ресурсам. В том числе язык заданий и командный язык, обеспечивающие их настройку на особенности функционирования различных систем управления заданиями, используемых в узлах распределенной вычислительной среды.

3. Системная архитектура и алгоритмы функционирования инструментального комплекса, обеспечивающего поддержку основных этапов построения и применения гетерогенных распределенных вычислительных сред для решения ресурсоемких научно-исследовательских задач.

Научная новизна. Разработан способ организации распределенных вычислений, отличающийся от известных обеспечением таких дополнительных возможностей, как формирование потоков заданий в зависимости от типов решаемых задач и децентрализованное управление этими потоками в процессе выполнения заданий. В основе этого способа лежат специализированные языковые и инструментальные средства, предназначенные для быстрой и гибкой настройки веб-ориентированного доступа к ресурсам гетерогенной РВС.

Практическая значимость. Разработанное ПО предоставляет пользователям возможность самостоятельно (без участия высококвалифицированных системных программистов) описывать исследуемую предметную область и программно-аппаратную часть РВС, а также формировать задания для решения своих задач и проводить вычислительные эксперименты в РВС. Тем самым сокращаются сроки и повышается эффективность проведения научно-исследовательских работ в целом.

Разработанные в рамках выполнения диссертационной работы инструментальные средства использованы при создании Grid ИДСТУ СО РАН. Эти программные средства зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам и применяются для проведения экспериментальных расчетов по плановым НИР в ИДСТУ СО РАН, а также в учебном процессе в Иркутском государственном университете: Институте математики, экономики и информатики и Международном институте экономики и лингвистики.

Исследование, разработка и применение программных средств, представленных в диссертации, выполнялись в рамках проекта СО РАН № 6 «Планирование и оптимизация схем решения задач в распределенной мультиагентной вычислительной среде» программы фундаментальных исследований Президиума РАН № 21 «Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID» (2004 г.); интеграционного проекта №3 СО РАН «Методы, технологии и инструментальные средства создания вычислительной инфраструктуры в Internet» (2003-2005 гг.); проекта СО РАН 3.2.6 «Интегрированные информационно-вычислительные и коммуникационные ресурсы: интеллектные методы организации, автоматизации разработки и применения» (2004-2006 гг., блок 1 «Распределенная вычислительная САТУРН-среда»); проекта СО РАН «Разработка научных основ распределенной информационно-аналитической системы на основе ГИС и Веб-технологий для междисциплинарных исследований» междисциплинарной программы 4.5.2 (2007—2009 гг., блок 2 «Интеллектные методы и инструментальные средства разработки и комплексирования распределенных информационно-вычислительных ресурсов»); проекта РФФИ № 08-07-00163 «Технологии интеллектуального анализа данных и высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований в области геоэкологии и природопользования» (2008-2010 гг.).

Достоверность результатов диссертации. Основные результаты диссертации базируются на исследованиях отечественных и зарубежных ученых и подтверждаются корректным использованием современных теоретических и экспериментальных методов их обоснования, а также успешным применением программного комплекса для решения практических задач.

Апробация работы. Основные результаты работы представлены на III Всероссийской молодежной конференции «Под знаком Е» (Омск, 2005 г.), на IV Всероссийской конференции «Математика, информатика, управление» (Иркутск, 2005 г.), на VI-VIII Школах-семинарах молодых ученых «Математическое моделирование, управление и информационные технологии» (Иркутск,

2005 г., 2005 г., 2006 г.), на VI Международной научно-практической конференции «Компьютерные технологии в науке, производстве, социальных и экономических процессах» (Новочеркасск, 2005 г.), на Всероссийской конференции «Инфокоммуникационные и вычислительные технологии и системы» (Эн-халук, 2006 г.), на XI Байкальской Международной конференции «Информационные и математические технологии в научных исследованиях» (Иркутск,

2006 г.), на II Международной конференции «Параллельные вычисления и задачи управления» (Москва, 2006 г.), на V Школе-семинаре «Распределенные и кластерные вычисления» (Красноярск, 2006 г.), на Международной научной конференции PAVT'2007 «Параллельные вычислительные технологии» (Челябинск, 2007 г.), на XII Байкальской Всероссийской конференции с международным участием «Информационные и математические технологии в науке и управлении» (Иркутск, 2007 г.), на VI Сибирской научной школе-семинаре с международным участием «Компьютерная безопасность и криптография» (Горно-Алтайск, 2007 г.), на Международной научно-практической конференции «Информационные технологии в образовании» (Иркутск, 2007 г.), на Меж

10 дународной конференции «Геоинформатика: технологии, научные проекты» (Иркутск, 2008 г.), на Школе-семинаре молодых ученых «Информационные технологии и моделирование социальных эколого-экономических систем» (Иркутск, 2008 г.), а также неоднократно на семинарах ИДСТУ СО РАН.

Публикации и личный вклад автора. Результаты диссертации отражены в 15 научных работах [15, 22-27, 37, 44-50] (в том числе 1 статья [46] в журнале, рекомендованном ВАК для опубликования научных результатов диссертации на соискание ученой степени доктора или кандидата наук). В перечисленных публикациях все результаты, связанные с алгоритмизацией, программной реализацией и вычислительным экспериментом на ЭВМ, получены автором лично. Результаты, связанные с разработкой моделей и методов организации распределенных вычислений, получены совместно с А.Г. Феоктистовым и являются неделимыми. Из совместных работ с А.А. Александровым, В.И. Дмитриевым и А.В. Лариной в диссертацию включены только те результаты, которые принадлежат лично автору.

Структура работы. Диссертация состоит из введения, трех глав, заключения, библиографии из 79 наименований, списка сокращений и 6 приложений. Общий объем работы — 147 страниц, из которых 120 страниц основного текста, включающего 28 рисунков и 12 таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Корсуков, Александр Сергеевич

Основные результаты диссертационной работы:

1. Разработан способ децентрализованного управления потоками заданий, позволяющий (в отличие от известных) распределять задания в вычислительной среде в зависимости от типов решаемых задач. Для каждого типа задач разработан специализированный планировщик заданий.

2. Разработаны средства организации унифицированного веб-ориентированного доступа к распределенным вычислительным ресурсам. В том числе язык заданий и командный язык, обеспечивающие их настройку на особенности функционирования различных систем управления заданиями, используемых в узлах распределенной вычислительной среды.

3. Выполнена программная реализация системной архитектуры и алгоритмов функционирования инструментального комплекса DISCENT, обеспечивающего поддержку основных этапов построения и применения гетерогенных распределенных вычислительных сред для решения ресурсоемких научно-исследовательских задач.

Правильность и эффективность принятых в работе решений подтверждена опытом успешной практической эксплуатации разработанных инструментальных средств.

Заключение

В диссертации предложены модели и инструментальные средства, которые могут быть использованы при создании гетерогенных распределенных вычислительных сред для решения ресурсоемких фундаментальных и прикладных задач.

Список литературы диссертационного исследования кандидат технических наук Корсуков, Александр Сергеевич, 2009 год

1. Агафонов В.Н. Спецификация программ: понятийные средства и их организация / В.Н. Агафонов. Новосибирск: Наука, 1987. — 240 с.

2. Бурцев В. Параллелизм вычислительных процессов и развитие архитектуры суперЭВМ / В. Бурцев. М.: ИВВС РАН, 1997. - 152 с.

3. Владимиров Д. Кластерная система Condor / Д. Владимиров // Открытые системы. 2000. - № 7-8. - С. 20-26.

4. Воеводин В. Решение больших задач в распределенных вычислительных средах / В. Воеводин // Автоматика и телемеханика. — 2007. — № 5. — С. 32-45.

5. Воеводин В. Параллельные вычисления / В. Воеводин, Вл. Воеводин. СПб.: БХВ-Петербург, 2002. - 608 с.

6. Воеводин Вл. Х-Сот — проект организации распределенных вычислений / Вл. Воеводин, М. Филамофитский // Научный сервис в сети Интернет: Тр. Всерос. науч. конф. -М.: МГУ, 2001. С. 11-13.

7. Воеводин Вл. Вычислительное дело и кластерные системы / В. Воеводин, С. Жуматий. М.: МГУ, 2007. - 150 с.

8. Гершуни Д.С. Планирование вычислений в системах жесткого реального времени (обзор и перспективы) / Д.С. Гершуни // Вычислительная техника. Системы управления. 1991. - Вып. 6. - С. 4-51.

9. Ю.Горбунов-Посадов М.М. Системное обеспечение пакетов прикладных программ / М.М. Горбунов-Посадов, Д.А. Корягин, В.В. Мартынюк. М.: Наука, 1990.-208 с.

10. Дейтел Х.М. Операционные системы. Распределенные системы, сети, безопасность / Х.М. Дейтел, П.Дж. Дейтел, Д.Р. Чофнес. — М.: ООО Бином-Пресс, 2006. 704 с.

11. Демичев А. Введение в грид-технологии / А. Демичев, В. Ильин, А. Крюков. М., 2007. - 87 с. - (Препринт / НИИЯФ МГУ; №11/832).

12. Жуматий С. Система РагСоп — ассистент в работе пользователя и администратора вычислительного кластера / С. Жуматий // Методы и средства обработки информации: Тр. Всерос. науч. конф. М.: МГУ им. М.В. Ломоносова, 2005.-С. 252-255.

13. Зегжда Д. Основы безопасности информационных систем / Д. Зегжда, А. Ивашко. М.: Горячая линия - Телеком, 2000. - 452 с.

14. Информационно-вычислительная среда для моделирования сложных систем в учебном процессе / А.Г. Феоктистов, В.И. Дмитриев, А.С. Корсуков, А.В. Ларина // Вестник ТГУ. Приложение. 2007. - № 23. - С. 348-353.

15. Каляев И. Распределенные системы планирования действий коллективов роботов / И. Каляев, А. Гайдук, С. Капустян. М.:Янус-К, 2002. - 292 с.

16. Кирьянов А. Введение в технологию Грид: Учебное пособие / А. Кирьянов, Ю. Рябов. ПИЯФ РАН, 2006. - 40 с.

17. Коваленко В.Н. Вычислительная инфраструктура будущего / В.Н. Коваленко, Д.А. Корягин // Открытые системы. 1999. - № 11-12. - С. 45-53.

18. Коваленко В.Н. Комплексное программное обеспечение грида вычислительного типа / В.Н. Коваленко. М., 2007. - 39 с. - (Препринт / ИПМ им. Келдыша РАН; №10).

19. Коваленко В.Н. Организация ресурсов ГРИД / В.Н. Коваленко, Д.А. Корягин. М., 2004. - 25 с. - (Препринт / ИПМ им. Келдыша РАН; № 63).

20. Корнеев В. Параллельные вычислительные системы / В. Корнеев. М.: Но-лидж, 1999.-320 с.

21. Корсуков А.С. Вопросы организации дистанционного доступа к кластерным системам / А.С. Корсуков // Под знаком Е: Тез. докл. III Всерос. молодежной конф. Омск: ОНЦ СО РАН, 2005. - С. 238.114

22. Корсуков А.С. Подсистема запуска задач на вычислительном кластере / А.С. Корсуков // Математическое моделирование и информационные технологии: Материалы VIII Школы-семинара молодых ученых. Иркутск: ИДСТУ СО РАН, 2006. - С. 80-82.

23. Котеров Д. РНР 5. Наиболее полное руководство / Д. Котеров, А. Костарев. СПб.: БХВ-Петербург, 2005. - 1120 с.

24. Лацис А.О. Как построить и использовать суперкомпьютер / А.О. Лацис. -М.: Бестселлер, 2003. 274 с.

25. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем / Т. Нейлор. М.: Мир, 1975. - 500 с.

26. Опарин Г.А. Булево моделирование планирования действий в распределенных вычислительных системах / Г.А. Опарин, А.П. Новопашин // Теория и системы управления. 2004. -№ 5. - С. 105-108.

27. Опарин Г.А. Инструментальная распределенная вычислительная САТУРН-среда / Г.А. Опарин, А.Г. Феоктистов // Программные продукты и системы. 2002. - №2. - С. 27-30.

28. Попков Ю.С. Макросистемы и GRID-технологии: моделирование динамических стохастических сетей / Ю.С. Попков // Проблемы управления. 2003. - № 8. - С. 10-20.

29. Россум Г. Язык программирования Python / Г. Россум. ДиаСофт, 2000. - 454 с.

30. Руководство администратора системы управления прохождением задач МВС-1000/16 / А.В. Баранов, А.О. Лацис, С.В. Сажин, М.Ю. Храмцов // Документация по МВС-1000/16. М.: ИПМ им. Келдыша РАН, 2007. - 25 с.

31. Советов Б.Я. Моделирование систем / Б.Я. Советов, С.А. Яковлев. -М.: Высшая Школа, 1985.-271 с.

32. Таненбаум Э. Распределенные системы. Принципы и парадигмы / Э. Танен-баум, В. Стен. СПб.: Питер, 2003. - 877 с.

33. Топорков В.В. Модели распределенных вычислений / В.В. Топорков. М.: ФИЗМАТЛИТ, 2004. - 320 с.

34. Топорков В.В. Управление ресурсами при организации распределенных вычислений на основе опорных планов /В.В. Топорков // Параллельные вычисления и задачи управления: Тр. III Междунар. конф. (РАСО'2006). М.: ИПУ РАН, 2006. - С. 287-306.116

35. Тыугу Э.Х. Концептуальное программирование / Э.Х. Тыугу. М.: Наука, 1984.-256 с.

36. Уайтхэд П. Perl: Наглядный курс программирования / П. Уайтхэд. Диалектика, 2001. - 280 с.

37. Уильяме Э. Active Server Pages в подлиннике. Наиболее полное руководство / Э. Уильяме, К. Барбер, П. Ньюкирк. СПб.: БХВ-Петербург, 2001.-672 с.

38. Феоктистов А.Г. Архитектура системы управления вычислительным кластером невыделенных рабочих станций / А.Г. Феоктистов, А.С. Корсуков // Параллельные вычисления и задачи управления: Тр. III Междунар. конф. М.: ИПУ РАН, 2006. - С. 492-497.

39. Феоктистов А.Г. Разработка Grid-системы с децентрализированным управлением потоками заданий / А.Г. Феоктистов, А.С. Корсуков // Вестник НГУ. Серия: Информационные технологии. — 2008. — Т. 6, Вып. 3. — С. 147-154.

40. Феоктистов А.Г. Удаленный доступ к кластерным системам / А.Г. Феоктистов, А.С. Корсуков // Математическое моделирование и информационные технологии: Материалы VI Школы-семинара молодых ученых. Иркутск: ИДСТУ СО РАН, 2005. - С. 39-40.

41. Шевель А. Визуализация состояний вычислительного кластера / А. Ше-вель // Открытые системы. — 2003. № 1. — С. 10-12.

42. Шилдт Г. Полный справочник по Java / Г. Шилдт. — Вильяме, 2007. — 1040 с.

43. A worldwide flock of Condors: load sharing among workstation clusters / D. Epema, M. Livny, R. van Dantzig, X. Evers, J. Pruyne // Future Generation Computer Systems. 1996. - Vol. 12, № 1. - P. 53-65.

44. Almond J. UNICORE: uniform access to supercomputing as an element of electronic commerce / J. Almond, D. Snelling // Future Generation Computer Systems. NH-Elsevier, 1999.-Vol. 15.-P. 539-548.

45. Badger L. Domain and Type Enforcement UNIX Prototype / L. Badger, D. Sterne, D. Sherman, K. Walker, S. Haghighat // USENIX Security Symp. 1995. - P. 12.

46. Baker M. Cluster Computing Review / M. Baker, C. Geoffrey, F. Yau, W. Yau. Northeast Parallel Architectures Center, 1995. - 89 p.

47. Berlich R. Grid computing in Europe: from research to deployment / R. Berlich, M. Kunze, K. Schwarz // Conf. in Research and Practice in Information Technology Series. Australian Computer Society, 2005. - Vol. 108. - P. 21-27.

48. Berners-Lee T. Hypertext Transfer Protocol HTTP/1.0. RFC 1945 MIT/LCS / T. Berners-Lee, R. Fielding, H. Frystyk. - UC Irvine, 1996.-60 p.

49. Durfee E.H. Distributed problem solving and planning / E.H. Durfee // Multiagent118

50. Systems: A Modern Approach to Distributed Artificial Intelligence / Ed. by G. Weiss. Cambridge: MIT Press, 1999. - P. 121-164.

51. Enabling Grids for E-sciencE. http://www.eu-egee.org/.

52. Foster I. Globus Toolkit Version 4: Software for Service-Oriented Systems / I. Foster // IFIP Intern. Conf. on Network and Parallel Computing. Springer, 2006. - P. 2-13.

53. Foster I. The Anatomy of the Grid: Enabling Scalable Virtual Organizations / I. Foster, C. Kesselman, S. Tuecke // Intern. J. of High Performance Computing Applications. 2001. - Vol. 15, № 3. - P. 200-222.

54. Gentzsch W. Sun Grid Engine: towards creating a compute power grid / W. Gentzsch // Cluster Computing and the Grid: First IEEE/ACM Intern. Symp., 2001. -P. 35-36.

55. Henderson R. Job scheduling under the portable batch system / R. Henderson // Job scheduling strategies for parallel process-sing. Springer, 1995. - P. 279-294.

56. High Performance cluster computing: in 2 vol. / Ed. by R. Buyya. New Jersey: Prentice Hall PTR, 1999. - 1519 p.

57. Holzner S. Ant: The Definitive Guide / S. Holzner. O'Really Media Inc., 2002.-333 p.

58. Huedo E. The GridWay Framework for Adaptive Scheduling and Execution on Grids / E. Huedo, R. Montero, I. Llorente // Scalable Computing: Practice and Experience. Wiley Press, 2005. - Vol. 6, № 3. - P. 1-8.

59. Integrating Local Job Scheduler LSF with Gfarm / W. Xiaohui, W. Li, O. Tatebe, et al. // Parallel and Distributed Processing and Applications. - Springer, 2005. - P. 196-204.

60. Kabir M. Apache Server 2 Bible / M. Kabir. Hungry Minds, 2002. - 793 p.

61. Matthew N. Beginning Databases with PostgreSQL: From Novice to Professional / N. Matthew, S. Richard. Apress, 2005. - 665 p.

62. OMII-Europe Project. http://omii-europe.org/OMII-Europe/.119

63. Portable Batch System: External Reference Specification / J.P. Jones, Электронный ресурс. — Электрон. дан. — Режим доступа: https://ciment.ujfgrenoble.fr/mirage/documentation/pbspro/PBSproERS540.pdf, свободный.

64. Porting of Scientific Applications to Grid Computing on GridWay / J. Herrera, E. Huedo, R. Montero, I. Llorente // Scientific Programming. IOS Press, 2005.-Vol. 13, №4.-P. 317-331.

65. Russian Data Intensive Grid. http://rus.egee-rdig.ru/.

66. Sandhu R. Role-Based Access Control Models / R. Sandhu, E. Coyne, H. Fein-stein, C. Youman // IEEE Computer. 1996. - Vol. 29, № 2. - P. 38-47.

67. The easy — Loadleveler API project / J. Skovira, W. Chan, H. Zhou, D. Lifka // Proc. of the Workshop on Job Scheduling Strategies for Parallel Processing. Springer, 1996. - P. 41-47.

68. The NorduGrid Project. — http://www.nordugrid.org/.

69. Virtual Data Toolkit, -http://vdt.cs.wisc.edu/.

70. White Paper: N1 Grid Engine 6 Features and Capabilities / P. Bulhoes, C. Byun, R. Castrapel, O. Hassaine. Phoenix: SUPerG, 2004. - 11 p.