Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры тема диссертации и автореферата по ВАК 05.13.01, доктор технических наук Кореньков, Владимир Васильевич

Диссертация и автореферат на тему «Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры». disserCat — научная электронная библиотека.
Автореферат
Диссертация
Артикул: 479253
Год: 
2012
Автор научной работы: 
Кореньков, Владимир Васильевич
Ученая cтепень: 
доктор технических наук
Место защиты диссертации: 
Дубна
Код cпециальности ВАК: 
05.13.01
Специальность: 
Системный анализ, управление и обработка информации (по отраслям)
Количество cтраниц: 
264

Оглавление диссертации доктор технических наук Кореньков, Владимир Васильевич

Введение.

Глава

Архитектура и структурная схема построения научного информационно-вычислительного комплекса ОИЯИ, являющего ресурсным центром грид-инфраструктуры.

1.1. Этапы развития компьютерной инфраструктуры ОИЯИ.

1.2. Грид-технологии.

1.2.1. Основные подсистемы промежуточного программного обеспечения.

1.2.2. Взаимодействие компонентов глобальной грид-инфраструктуры.

1.3. Создание российской грид-инфраструктуры и ее развитие в рамках европейских проектов.

1.4. Требования к научному вычислительному комплексу и анализ классов решаемых задач.

1.5. Особенности алгоритмов планирования заданий для разных групп пользователей.

1.6. Оценка параметров вычислительного кластера в разных конфигурациях.

1.7. Распределение потоков данных и задач.

1.7.1. Организация пакетной обработки (batch).

1.7.2. Алгоритм работы планировщика Maui.

1.8. Выбор базовой системы хранения данных ресурсного центра грид-инфраструктуры

1.8.1. Система DPM (Disk Pool Manager).

1.8.2. Программное обеспечение CASTOR.

1.8.3. Система хранения данных EOS.

1.8.4. Основные возможности Xrootd.

1.8.5. Система хранения dCache.

1.9. Взаимодействие компонентов многоуровневой системы ресурсного центра в составе грид-инфраструктуры.

1.10. Методы повышения эффективности и надежности функционирования научного вычислительного комплекса.

1.11. Структурная схема функционирования Центрального информационно-вычислительного комплекса (ЦИВК) ОИЯИ.

1.11.1. Сетевая инфраструктура ЦИВК ОИЯИ.

1.11.2. Система локального мониторинга ЦИВК ОИЯИ.

1.11.3. Структурная и функциональная схема ЦИВК ОИЯИ.

Глава

Развитие модели компьютинга экспериментов на Большом адронном коллайдере.

2.1. Модель компьютинга для экспериментов на БАК в проекте MONARC.

2.2. Этапы развития компьютинга экспериментов на БАК в ОИЯИ и интеграция грид-сайта ОИЯИ в глобальную грид-инфраструктуру

WLCG.

2.2.1. Создание в ОИЯИ ресурсного центра уровня Тіег2 для проекта CMS.

2.2.1.1. Организация компьютинга коллаборации RDMS CMS.

2.2.1.2. Создание в ОИЯИ грид-сайта для эксперимента CMS.

2.2.1.3. Требования к ресурсным центрам уровня Tier2 эксперимента CMS.

2.2.1.4. Проблемы стабильности передачи данных при использовании системы Phedex

2.2.1.5. Надежность функционирования грид-сайта CMS T2RUJINR в ОИЯИ

2.2.2. Потоки данных в экспериментах на БАК на примере ATLAS. 102 2.2.2.1. Реализация системы распределенного компьютинга для эксперимента ATLAS.

2.2.2.2. Модель данных эксперимента ATLAS.

2.2.2.3. Система управления распределенными данными DDM (Distributed Data Management).

2.2.2.4. Развитие системы управления распределенными данными эксперимента ATLAS.

2.3. Эволюция модели компьютинга экспериментов на БАК.

2.3.1. Концепция нового инфраструктурного уровня Tier3 в модели компьютинга экспериментов на БАК.

2.3.2. Тестовая среда на базе виртуальных кластеров для исследования разных конфигураций центров уровня Tier3.

Глава

Базовая модель распределенной инфраструктуры ускорительного комплекса НИКА.

3.1. Схема обработки информации ускорительного комплекса НИКА.

3.2. Выбор платформы для моделирования.

3.3. Моделирование работы грид-системы в рамках пакета Опс^т.

3.4. Задачи моделирования грид-системы.

3.5. Построение имитационной модели грид-системы.

3.6. Результаты работы модели грид-системы.

3.7. Анализ полученных результатов.

Глава

Интегральная оценка эффективности функционирования ресурсных центров в составе распределенной грид-инфраструктуры.

4.1. Показатели надежности и доступности грид-сайтов инфраструктуры \VLCG.

4.2. Анализ информации портала статистического учета работы грид-сайтов.

4.3. Базовый вариант интегрированной оценки эффективности грид-сайтов инфраструктуры WLCG.

4.4. Анализ интегрированной оценки эффективности работы ресурсных центров.

Глава

Архитектурные принципы, методы и средства для реализации мониторинга распределенных вычислительных систем.

5.1. Требования к системе мониторинга и выбор параметров.

5.2. Архитектура и компоненты системы мониторинга.

5.3. Уровни системы мониторинга.

5.4. Функции мониторинга распределенных систем.

5.5. Выбор программной платформы для построения систем мониторинга

5.6. Методы и программные средства реализации мониторинга распределенных систем.

5.6.1. Методы и механизмы сбора данных об объектах мониторинга

5.6.2. Организация хранения данных мониторинга.

5.6.3. Алгоритмы и методы анализа полученных данных для прогнозирования поведения системы.

5.6.4. Подсистема вывода и визуализации информации мониторинга

5.7. Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG.

5.8. Примеры созданных систем мониторинга и учета на основе разработанной архитектуры, методов и программных средств.

Введение диссертации (часть автореферата) На тему "Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры"

Интенсивное использование информационных и вычислительных технологий существенно изменило методику получения знаний и привело к тому, что информационно-вычислительное обеспечение стало важнейшей составляющей научной инфраструктуры.

Возникшие на базе компьютерных сетей нового поколения современные распределенные информационно-вычислительные системы открыли принципиально новые возможности организации научной деятельности.

Взятый курс на модернизацию и технологическое развитие экономики России требует существенно более активного использования информационно-коммуникационных технологий. Одним из наиболее интенсивно развивающихся направлений являются технологии распределенных и параллельных вычислений, охватывающие широкий спектр применений: от научных комплексов высокопроизводительных вычислений до систем производства высокотехнологичной и конкурентоспособной продукции. В классической монографии Э.Таненбаума и М. ван Стеен представлен обзор принципов и парадигм распределенных систем [1]. В монографии В.В. Воеводина и В л.В.Воеводина [2] выполнен качественный анализ технологий, архитектур и алгоритмов параллельных вычислений.

Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычислительные системы, способные передавать и принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных. Развитие технологий обработки данных в физике высоких энергий от кластеров до грид-технологий представлены в классических обзорах Рене Брана [3] и Леса Робертсона [4].

Грид - географически распределенная инфраструктура, предназначенная для обеспечения надежного, устойчивого, повсеместного и недорогого доступа к компьютерным ресурсам разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), на основе их скоординированного разделения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила.

Современные грид-инфраструктуры обеспечивают интеграцию аппаратных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее время невозможно достичь в локальных вычислительных центрах. Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера http://wlcg.web.cern.ch/) в Европейской организации ядерных исследований (ЦЕРН, http://www.cern.ch/) при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер). На семинаре 4 июля 2012 года, посвященном наблюдению частицы, похожей на бозон Хиггса, директор ЦЕРН Р. Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Гридинфраструктура на БАК позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершать научные открытия. В настоящее время ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки и хранения данных. Результаты по наблюдению новой частицы, полученные на экспериментальных установках CMS и ATLAS, опубликованы в статьях [5, 6], а роль распределенной компьютерной инфраструктуры в открытии новой частицы отмечена в работе А. Климентова и В. Коренькова [7].

Первым шагом по развитию грид-технологий стал проект Globus (http://www.globus.org/), который выполнялся в середине 90-х годов в Аргонской национальной лаборатории США под руководством Яна Фостера и Карла Кесельмана, которые по праву считаются основателями грид. Значительным результатом этой деятельности было создание версии пакета Globus Toolkit, который стал важнейшим инструментарием для построения грид-инфраструктуры. Данный инструментарий охватывает вопросы обнаружения и защиты информации, управления данными и ресурсами, вопросы коммуникаций и обнаружения ошибок и т.д. Соответствующие механизмы оформлены как службы, которые выполняют различные операции в грид - приложениях. Книга, написанная Яном Фостером и Карлом Кесельманом «GRID: a Blueprint to the New Computing Infrastructure» [8] в 1999 году положила начало распространению грид-технологий в мире. Во многих последующих работах они развивали эти идеи, принципы, архитектурные подходы, наиболее значимые из которых представлены в публикациях [9, 10, 11, 12, 13].

В 1998 году в рамках проекта MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments http://monarc.web.cern.ch/MONARC), большим коллективом разработчиков разрабатывалась модель компьютинга для экспериментов на БАК [14] и специальный пакет для симуляции этой модели [15]. Под компьютингом понимается применение средств il >',11 «'' ' *>N \ 1 ' Ч\ i " ' • i! 'и Ч 1 h'„ 1 '' '' if ''»i » ' 1 't. I ' ■ I I

Aiv'.A'К'.!' .■,'■ ■■ ■ .>■' ■■' r '"■!',.' v. i.'.;.'.' ! -w.'>■■ ■:.г ;vr .■■■*;"■'■;, ; : ';.ii'lni1' Ч«"/':'' ."'.l'.v-'Vi!;.''!,;:: ;i'I."''■•.: . ¡v/i. ,J•'^'l^'í¡^,,"î:i.'.'¡SiV' 'i'':,'1 ■ '' . J1 ; •' .,-".-'''■ ■■ вычислительной техники и систем связи для организации сбора, хранения и обработки информации в научных исследованиях. Задача организации компьютинга была очень сложной, поскольку требовалось:

• обеспечить быстрый доступ к массивам данных колоссального объема;

• обеспечить прозрачный доступ к географически распределенным ресурсам;

• создать протяженную надежную сетевую инфраструктуру в гетерогенной среде.

В рамках проекта МСЖАЛС была разработана базовая модель компьютинга для экспериментов на БАК как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней.

Экспериментальные данные записываются и хранятся в ЦЕРН, а потом передаются для хранения и обработки в региональные центры различного уровня, что дает возможность более эффективно использовать распределенные ресурсы и обеспечивать физикам доступ к данным в различных странах. Возникла проблема разработки базовых моделей вычислений, включая стратегию, приоритеты и политику для эффективного анализа данных международными сообществами.

Применение грид - технологий позволяет существенно расширить возможности этой модели, а также повысить эффективность использования ресурсов региональных центров, надежность хранения информации путем хранения копий баз данных в различных региональных центрах.

Одним из первых масштабных проектов по развитию грид-технологий в Европе был проект ЕЭС (с 2001 по 2003 годы), в котором участвовали крупные научные центры из 14 европейских стран (в том числе из России) с целью разработки архитектуры и создания прототипа глобальной инфраструктуры нового поколения для обработки огромных массивов информации. Первые статьи о необходимости создания грид-инфраструктуры в России [16, 17, 18] вызвали большой интерес к этой проблеме у научной общественности. Первые шаги построения тестовой грид-среды и первые результаты участия России в проекте EDG были представлены наряде конференций [19, 20, 21].

С 2002 года распределенная компьютерная инфраструктура для экспериментов на БАК реализуется в проекте "LHC Computing GRID" (LCG) [24], который с 2007 года называется "Worldwide LHC Computing GRID" (WLCG). В самом названии проекта подчеркивается особая роль грид-технологий. В проекте WLCG можно выделить два направления: ресурсы и программное обеспечение. К первому направлению относятся вопросы архитектуры системы региональных центров, соответствующие принятой распределенной иерархической модели. Ко второму направлению относятся вопросы интеграции региональных центров на основе промежуточного программного обеспечения с предоставлением базовых и прикладных сервисов для эффективной поддержки виртуальных организаций и пользователей. С 2003 года российские интституты и ОИЯИ включились в работу по проекту WLCG [25].

В 2004 году начался масштабный европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe, http://www.eu-egee.org). Главная цель проекта EGEE - создание, координация и эксплуатация международной грид-инфраструктуры промышленного уровня, предназначенной для работы пользователей, представляющих самые разные направления деятельности. Эта инфраструктура объединяет существующие национальные, региональные и тематические инициативы в области грид-технологий для интеграции ресурсов и сервисов.

Такая инфраструктура, основанная на грид-технологиях, упрощает сотрудничество между географически распределёнными сообществами и позволяет им совместно пользоваться компьютерными ресурсами и данными.

Созданная глобальная грид-инфраструктура используется многими виртуальными организациями, для деятельности которых требуется оперативный доступ, хранение и обработка больших и сверхбольших объемов информации в таких областях, как физика высоких энергий, биоинформатика, медицина, науки о Земле, астрофизика, нанотехнологии, мульмедиа, бизнес-приложения и т.д. В сборнике статей известных специалистов «The Fourth Paradigm; Data-Intensive Scientific Discovery» под редакцией Т. Хей, С. Танслей и К.Толл [26] дается широкий обзор применений грид-технологий для научных приложений, а статья В. Беднякова и В. Коренькова посвящена перспективам использования грид-технологий в промышленности и бизнесе [27].

В 2010 году проект EGEE завершился и развитие грид-технологий в Европе продолжается в рамках проекта EGI (Европейская грид инициатива, European Grid Initiative - http://www.egi.eu.), основой которого является координация и интеграция развития национальных грид инициатив National Grid Initiatives (NGI).

Для обеспечения полномасштабного участия России в европейском проекте EGEE был образован консорциум РДИГ (Российский грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG -http://www.egee-rdig.ru), в рамках которого было организовано выполнение работ по этому проекту. Это способствовало созданию и развитию российского сегмента грид-инфраструктуры EGEE, который стал пионерским проектом в развитии грид-технологий в России [28, 29].

К этой деятельности активно подключились многие российские центры, в первую очередь участники экспериментов на БАК: ОИЯИ (Дубна), РНЦ «Курчатовский институт», НИИЯФ МГУ, ИТЭФ (Москва), ИФВЭ (Протвино), ПИЯФ (Гатчина), ИЛИ (Троицк), ФИАН (Москва). Также большую роль в становлении российской грид-инфраструктуры сыграл ИПМ им. Келдыша. В работах сотрудников ИПМ под руководством Д.А. Корягина и В.Н. Коваленко [30, 31, 32, 33, 34] выполнен комплекс пионерских работ в области развития системы управления заданиями в распределенной

•* » t

I »

Hl t t I Л1

Ч ' i

M (i вычислительной среде, в том числе был разработан «Метадиспетчер» [35,36].

В решение проблемы применения грид-технологий в области вычислительной химии большой вклад внесла группа сотрудников из ИПХФ (Черноголовка) во главе с В.М. Волоховым [37].

В развитие концепции распределенных вычислительных сред и приложений большой вклад внес коллектив Института системного анализа РАН во главе с А.П. Афанасьевым [38, 39]. Коллектив НИВЦ МГУ во главе с Вл.В. Воеводиным развивает параллельные вычисления и методы повышения эффективности функционирования крупных суперкомпьютерных центров, а также проблемы интеграции суперкомпьютерных центров [2, 40, 41]. В Межведомственном суперкомпьютерном центре РАН под руководством Г.И. Савина ведутся работы по развитию грид-инфраструктуры суперкомпьютерных центров для параллельных приложений [198].

Проблемы выбора архитектуры построения распределенных гетерогенных систем, методы планирования заданий в распределенных системах, оценки эффективности функционирования вычислительных комплексов отражены в работах известных российских специалистов

A.B. Богданова [42], В.В. Топоркова [43], А.О. Лациса [44],

B.В. Корнеева [45] и многих других.

Работы по развитию облачных вычислений для научных приложений выполняются в крупных научных центрах (например, в Fermilab [196] или GSI [195]) , а в России в этом направлении активно работают коллективы под руководством В.П. Иванникова [199], A.B. Богданова [193].

Большую роль в этих масштабных проектах играют информационно-вычислительные комплексы институтов и университетов разных стран, которые являются ресурсными центрами (грид-сайтами) глобальной системы распределенных вычислений. В географически распределенной системе вопросы эффективности и надежности всей инфраструктуры тесно связаны с <, V ) V I - , 1 , 1 '•> ' 'И I ; ) ' и f-'/'i iu м ,1< ¡1» 1 ^ 1 1 * '' ' 1,1 качеством функционирования каждого ресурсного центра, входящего в эту систему. Технологии разработки программного обеспечения и управления программными проектами представлены в классических монографиях Э.Брауди [200], Р.Фатрепп [201], Л.Басс [202].

Информационно-вычислительная инфраструктура Объединенного института ядерных исследований (ОИЯИ) прошла в своем развитии много этапов [47, 48, 49], а в настоящее время является крупнейшим в России (РДИГ) ресурсным центром в составе глобальной грид-инфраструктуры ХУЪСО/ЕСЕЕ/ЕО!, который обеспечивает поддержку виртуальных организаций крупнейших международных проектов, в том числе экспериментов на БАК [50, 51, 52, 53, 54].

Основные направления развития грид-технологий в ОИЯИ представлены на портале grid.jinr.ru [192].

Кроме экспериментов на БАК сотрудники ОИЯИ участвуют в экспериментах на базовых установках ОИЯИ и в других научных центрах мира [46]. Полным ходом идет подготовка проекта создания ускорительного комплекса НИКА (http://nica.jinr.ru).

Все вышеперечисленные направления исследований требуют организации компьютинга для полноценного участия специалистов института и других стран в физических экспериментах ОИЯИ и международных коллаборациях. Поэтому сетевая и информационно-вычислительная инфраструктура ОИЯИ должна удовлетворять требованиям научно-исследовательской программы Института, быть базовым сегментом российской и мировой системы распределенных вычислений и единого информационного пространства институтов стран-участниц ОИЯИ.

Компьютерная инфраструктура ОИЯИ прошла в своем развитии несколько этапов и представляет собой сложную программно-аппаратную систему, в которой используется большое разнообразие архитектур, платформ, операционных систем, сетевых протоколов и программных продуктов. Это накладывает противоречивые требования на интероперабельность, унификацию пользовательского интерфейса, адаптацию и оптимизацию потоков данных и задач, решаемых в рамках физических экспериментов.

Функциональные требования к вычислительному комплексу отличаются для разных экспериментов и групп пользователей в силу различия моделей компьютинга, потребностей в ресурсах, специфики решаемых задач, специализации программного обеспечения и т.д.

Алгоритмы планирования и управления потоком заданий на локальных кластерах и суперкомпьютерах достаточно хорошо исследованы и апробированы. А вопросы эффективного управления потоком заданий и данных на ресурсном центре в составе грид-инфраструктуры пока еще находятся в стадии исследований.

Существуют методы оценки эффективности и надежности функционирования локального вычислительного комплекса или ресурсного центра (грид-сайта) в составе распределенной грид-инфраструктуре, но пока нет общепринятой интегральной оценки эффективности грид-сайта.

В созданной иерархической инфраструктуре ресурсных центров разного уровня \VLCG для экспериментов на БАК постоянно растут потоки передаваемых данных и количество заданий пользователей, что приводит к замедлению анализа данных. Это приводит к необходимости совершенствования модели компьютинга в соответствии с требованиями со стороны виртуальных организаций и пользователей экспериментов на БАК.

Для новых крупных научных проектов необходимо совершенствовать модели компьютинга при проектировании распределенной компьютерной инфраструктуры (например, для экспериментов на ускорительном комплексе НИКА).

Высокопроизводительные вычисления, выполняемые для получения практического результата, связаны с хранением и обработкой большого количества информации. По прогнозам, общее количество данных будет расти быстрее, чем указывает закон Мура, и вырастет в 75 раз в следующем десятилетии. Так, например, объемы данных обрабатываемых для экспериментов на БАК за первые два года работы уже превышают сто пятьдесят петабайтов (РВ) и насчитывают сотни миллионов файлов. Объемы хранилищ данных будут расти очень быстро, и это может создать узкое место в разработках, когда потребности в информации будут ограничены возможностью её хранения и предоставления доступа к ней.

Наборы данных экзабайтного масштаба уже сейчас планируются для основных перспективных научных проектов. Их анализ и визуализация являются ограничивающими факторами в достижении понимания результатов обработки и моделирования. Увеличивающиеся масштаб и сложность, как моделирования, так и наборов данных, которые при этом возникают, станут ключевым фактором программы исследований в сфере анализа данных и их визуализации. Это требует новых подходов к интеграции вычислений, анализу (включая интерактивный) и визуализации сверхбольших наборов данных.

Постоянно растущие объёмы научных данных ставят новые задачи перед технологиями распределённых вычислений и Грид [55]. Набирающая размах революция Больших Данных (Big Data) ведёт к открытиям в самых различных областях науки, включая нанотехнологии, астрофизику, физику высоких энергий, биологию и медицину. Новые проекты и разработки преображают исследования, основанные на данных, расширяя границы применения Больших Данных и требуя массивной обработки данных новыми методами [56].

Таким образом, задача совершенствования системы управления сверхбольшими хранилищами данных в гетерогенной распределенной вычислительной среде приобретает все более высокую актуальность [57]. На начальных этапах внедрения грид-систем этой проблеме не уделялось достаточного внимания, в результате чего были разработаны и внедрены только отдельные ее компоненты (системы передачи данных, различные модели каталогов).

V ' М и' ml ,), \ >• t' I | U ' lv i I JI - W ' V >• « I «

Практическое использование грид-систем показало недостаточность разработанных компонент, возник целый ряд нерешенных задач: отсутствие систем автоматической репликации данных, отсутствие или усложнённые системы учета и мониторинга.

Таким образом, возникает актуальная проблема, связанная с необходимостью разработки методологии функционирования и развития ресурсных центров глобальной грид-инфраструктуры, для повышения их эффективности при постоянном увеличении потоков задач и управления сверхбольшими объемами данных.

Цель диссертационного исследования

Целью диссертационной работы является разработка методологии развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности его функционирования с учетом требований проектов, связанных с обработкой и хранением больших и сверхбольших объемов информации.

Основными задачами, решаемыми в работе, являются:

1. Обоснование концепции организации научно-исследовательского информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры.

2. Разработка архитектуры, структурной схемы построения крупного информационно-вычислительного комплекса, являющего ресурсным центром глобальной грид-инфраструктуры.

3. Развитие модели компьютинга крупных научных проектов, связанных с хранением и обработкой больших объемов информации (БАК, НИКА).

4. Разработка интегральной оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры с учетом основных показателей качества работы. о

5. Разработка универсальной архитектуры системы мониторинга и статистического учета ресурсов, сервисов, задач, пользователей, виртуальных организаций для повышения эффективности и надежности функционирования глобальной грид-инфраструктуры и ресурсных центров.

Научная новизна работы

1. Разработаны концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред.

2. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Т1егЗ, который расширяет возможности для анализа данных пользователям крупных коллабораций.

3. Создана базовая модель компьютинга экспериментов на коллайдере НИКА, позволяющая осуществлять различные стратегии управления потоками данных и задач.

4. Разработана интегральная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры.

5. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем.

Защищаемые положения

1. Разработанные концепция, архитектура, структурная схема научного вычислительного комплекса снимают противоречия в требованиях разных групп пользователей, улучшают функциональные характеристики комплекса.

2. Развитая модель компьютинга Большого адронного коллайдера с введением нового инфраструктурного слоя Tier3 расширяют возможности для анализа данных пользователями крупных коллабораций

3. Базовая модель компьютинга проекта НИКА позволяет выполнить анализ различных сценариев и выбрать наиболее эффективное решение для построения распределенной системы обработки и хранения информации экспериментов на коллайдере НИКА.

4. Разработанная интегрированная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры позволяет повысить объективность принятия решений по устранению недостатков в работе ресурсного центра и его развитию.

5. Разработанная архитектура и созданная на ее основе комплексная система грид-мониторинга (ресурсов, сервисов, задач, виртуальных организаций, пользователей) повышают эффективность и надежность функционирования грид-инфраструктур и служит основой для прогнозирования их развития.

Практическая значимость

1. На основе разработанной в диссертации концепции, архитектуры, структурной схемы научно-исследовательского высокопроизводительного вычислительного комплекса создан ресурсный центр в составе грид-инфраструктуры, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06.

2. Развитая модель компьютинга БАК использована в ОИЯИ при создании программно-аппаратной среды для пользователей экспериментов ATLAS, CMS и ALICE, что обеспечило участие специалистов в работах по массовому моделированию физических событий, обработке и анализу реальных данных с действующих установок БАК. i у > , W

С I Y ¡1 и

Л » M ill.

J'V

M i'1 f'hl "il y> pW ,4

3. На базе разработанной архитектуры создан комплекс систем грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей), включающий:

• мониторинг и учет ресурсов Российской грид-инфраструктуры РДИГ;

• мониторинг сервиса передачи файлов (FTS);

• мониторинг вычислительного комплекса ОИЯИ;

• мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth;

• мониторинг и учет национальной нанотехнологической сети ГридННС;

• мониторинг ресурсов проекта «СКИФ-ГРИД»;

• мониторинг и учет ресурсов Российской грид-сети (РГС);

• мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК;

• мониторинг передачи данных в инфраструктуре проекта WLCG.

Реализация результатов работы

Результаты диссертации были получены под руководством и личном участии соискателя в следующих международных проектах: EDG (проект Европейской DataGrid-инфраструктуры), WLCG: проект грид для Большого адронного коллайдера (Worldwide LHC Computing Grid), EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE), СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь), EGI-InSPARE (проект развития европейской грид-инфраструктуры).

Автор диссертации внес определяющий вклад при выполнении ряда национальных российских проектов, из которых как наиболее значительные можно выделить: «Разработка компьютинговой системы для развития грид-комплекса ЯиТ1ег2/РДИГ для проведения российскими институтами распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной грид-системы WLCG/EGEE» (НИР), «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе» (ОКР), «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии» (ОКР).

Основные направления работ по созданию и развитию информационно-вычислительного комплекса ОИЯИ и глобальной системы распределенных вычислений были поддержаны в период с 1995 года по 2012 год девятнадцатью грантами РФФИ. В настоящее время автор является руководителем двух международных проектов РФФИ: «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG» и «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера».

Базовая модель компьютинга НИКА реализуется в проекте «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии грид для ускорительного комплекса НИКА», а развитие модели компьютинга для экспериментов на БАК - в проекте «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных». Оба проекта реализуются в рамках федеральной целевой программы (ФЦП) Министерства образования и науки РФ "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы", причем автор диссертации является руководителем в первом проекте и координатором от ОИЯИ во втором.

Результаты диссертации используются при реализации совместных проектов ОИЯИ с организациями стран-участниц.

Vb'^'f I I1 1 1 ' f ' ' II 1,1 I I'1' li • 1 ' l' V ri" ' .1 ' ' 1 t

Апробация диссертации:

Результаты работы являются итогом более чем 20-летней научной и организационной деятельности соискателя. Основные результаты диссертации докладывались и обсуждались на научных семинарах JIBTA (ЛИТ) и других подразделений ОИЯИ, университета «Дубна», на Международных совещаниях и конференциях в научных центрах и университетах России, Армении, Беларуси, Болгарии, Венгрии, Испании, Италии, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, Узбекистана, Франции, ФРГ, Чехии, Швейцарии, в том числе:

- Международные конференции "Computing in High Energy Physics» (CHEP): 1997 (Берлин, ФРГ), 2004 (Интерлакен, Швейцария), 2009 (Прага, Чехия);

- Международные конференции "Математика. Компьютер. Образование", Дубна: 2000, 2002, 2004, 2006, 2008, 2010, 2012;

- Международные конференции "Modem Trends in Computational Physics", Дубна (2000, 2009), Словакия (2011);

- Всероссийская конференция "Научный сервис в сети ИНТЕРНЕТ", Новороссийск, 2000, 2002;

- Всероссийская конференция "Высокопроизводительные вычисления и их приложения", Черноголовка, 2000;

- Международная конференция "Решения по управлению данными в научных исследованиях", Дубна, 2001;

- Международный конгресс по математическому моделированию, Дубна, 2002;

- Международная конференция «Advanced computing and analysis techniques in physics research» (ACAT-2002), Москва, 2002;

- Всероссийские конференции "Электронные библиотеки: перспективные методы и технологии, электронные коллекции" (RCDL), Дубна: 2002, 2008, 2012;

- Сессия отделений информатики и математики РАН, Москва, 2003;

- Международные конференции RDMS CMS: Дубна (2003), Минск, Беларусь (2004), Варна, Болгария (2006), Дубна (2009), Варна, Болгария (2010);

- Конференция «Телематика-2006», Санкт-Петербург, 2006;

- Международная конференция «GRID Activities within Large Scale International Collaborations», Синая, Румыния, 2006;

- Международная конференция Open Grid Forum и EGEE User Forum, Манчестер, Англия, 2007;

- Международное совещание "Physics and Computing at ATLAS", Дубна, 2008;

- Международная конференция "Distributed Computing before and during LHC data-taking", Москва, 2008;

- Международная конференция «Украинский академический грид» (УАГ-2009), Киев, 2009;

- Международная конференция «Annual Meeting of the Romanian LCG Federation», Бухарест, Румыния: 2009, 2010;

- Международная конференция "Telecommunications, Electronics and Informatics" (ICTEI 2010), Кишинев, Молдова, 2010;

- Международное совещание по компьютингу коллаборации эксперимента ATLAS, Дубна, 2011;

- Международное совещание "Perspectives on Physics on CMS at Very High Luminosity, HL-LHC", Алушта, 2012.

Соискатель являлся сопредседателем оргкомитета шести международных симпозиумов по ядерной электронике и компьютингу (Варна, Болгария) в 2001, 2003, 2005, 2007, 2009 и 2011 году, а также заместителем председателя пяти международных конференций «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна) в 2004, 2006, 2008, 2010 и 2012 году, на которых представлялись результаты настоящей диссертации.

Публикации и личный вклад автора

Изложенные в диссертации результаты получены соискателем в результате его многолетней научной и организационной работы по развитию и совершенствованию информационно-вычислительного комплекса ОИЯИ и внедрению современных систем распределенных вычислений в масштабе России и стран-участниц ОИЯИ.

Все исследовательские работы и разработки по теме диссертации - от постановки задачи и выбора методики до получения результатов - были выполнены под непосредственным руководством соискателя, и его вклад является определяющим.

Немаловажным при принятии решений о развитии информационно-вычислительного комплекса ОИЯИ как базового сегмента глобальной системы распределенных вычислений являлось активное участие соискателя в работе ряда международных и российских комитетов и рабочих групп, занимающихся выработкой концептуальных решений в сфере вычислительной техники и сетевых коммуникаций.

По теме диссертации автором опубликовано 87 печатных работ, в том числе 41 работа по основным результатам (из них 13 работ в изданиях из перечня ведущих рецензируемых научных изданий, рекомендованного ВАК РФ для публикации основных результатов диссертаций). Также результаты работы опубликованы в отчетах по руководимым автором инфраструктурным проектам в рамках Федеральных целевых программ и проектам, поддержанных РФФИ.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения, списка литературы из 202 наименований; полный объем работы составляет 260 страниц.

Заключение диссертации по теме "Системный анализ, управление и обработка информации (по отраслям)", Кореньков, Владимир Васильевич

Основные результаты диссертационной работы:

1. Сформулированы требования к научному вычислительному комплексу, проведен анализ классов решаемых задач, распределения потоков заданий и потоков данных и их динамика изменений на разных этапах развития.

2. Обоснован выбор архитектуры, аппаратной и программной платформы, настройки параметров системы управления заданиями и данными для эффективного выполнения потока заданий и потока данных для разных категорий пользователей.

3. Разработана концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред.

4. Создан ресурсный центр в составе грид-инфраструктуры, имеющий высокий мировой рейтинг по показателям производительности и надежности, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06.

5. Создана и постоянно развивается программно-аппаратная среда ресурсного центра уровня Tier2 в ОИЯИ для пользователей экспериментов ATLAS, CMS и ALICE с целью их участия в обработке и анализе данных с ускорителя БАК.

6. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Tier3, который расширяет возможности для анализа данных участниками коллабораций. Разработана тестовая инфраструктура на базе виртуальных кластеров для моделирования различных конфигураций ИегЗ центров, настройки системы локального мониторинга с целью сбора информации для глобального мониторинга Tier3 центров и разработан пакет глобального мониторинга Tier3 центров.

7. Разработана базовая имитационная модель для проектирования распределенной компьютерной инфраструктуры для хранения, обработки и анализа информации в экспериментах на ускорительном комплексе НИКА, выделены ключевые параметры оценки модели.

8. Впервые разработана базовая интегральная оценка эффективности ресурсных центров, входящих в состав глобальной грид-инфраструктуры, которая дает возможность определить причины неэффективной работы грид-сайта.

9. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем.

10. На базе разработанной архитектуры созданы и внедрены следующие комплексы грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей):

• мониторинг и учет российской грид-инфраструктуры РДИГ;

• мониторинг сервиса передачи файлов (FTS);

• мониторинг вычислительного комплекса ОИЯИ;

• мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth;

4 "К* I'V'«^'"!'^,«1 V^MM'1'1 f, f], »JUm iiij sr'.»?

• мониторинг и учет ресурсов грид-инфраструктуры национальной нанотехнологической сети ГридННС;

• мониторинг ресурсов проекта «СКИФ-ГРИД»;

• мониторинг и учет ресурсов Российской грид-сети (РГС);

• мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК;

• мониторинг передачи данных в инфраструктуре проекта WLCG. Основные результаты, выводы и рекомендации, полученные в диссертации, использовались при реализации следующих национальных и международных проектов:

• проект EDG (европейская DataGrid-инфраструктура);

• проект EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE);

• СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь);

• проект «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе»;

• проект «Разработка компьютинговой системы для развития грид-комплекса 11иПег2/РДИГ для проведения российскими институтами распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной Грид-системы WLCG/EGEE»;

• проект «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии»;

В настоящее время реализуются следующие национальные и международные проекты, в которых применяются изложенные в диссертации результаты:

• проект развития глобальной грид-инфраструктуры для БАК (WLCG);

• проект развития Европейской грид-инфраструктуры EGI-InSPARE;

• проект «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG»;

• проект «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера»;

• проект создания Российской национальной грид-сети (РГС);

• проект «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных»;

• проект «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии Грид для ускорительного комплекса НИКА»;

• совместные проекты в области развития грид-технологий с научными центрами Азербайджана, Беларуси, Болгарии, Египта, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, ФРГ, Чехии, ЮАР.

Заключение

В настоящей диссертации обобщен многолетний опыт работы автора по разработке и совершенствованию методологии создания крупного информационно-вычислительного центра в составе глобальной грид-инфраструктуры, который служит для решения сложных научных задач, требующих обработки больших и сверхбольших объемов данных.

Принимая во внимание цикличность всех этапов развития ресурсного центра в составе глобальной грид-инфраструктуры, основные методологические аспекты рассматриваются и решаются по следующим главным направлениям:

- формулировка требований и определение классов решаемых задач;

- построение и развитие модели компьютинга и разработка архитектуры ресурсного центра, исходя из анализа потоков заданий и данных;

- моделирование процессов и сценариев функционирования ресурсного центра с целью выявления узких мест и прогнозирования развития компьютерного комплекса;

- постоянное совершенствование сетевой, аппаратной и программной среды ресурсного центра;

- разработка и модернизация критериев оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры;

- развитие методов, алгоритмов и настройка системы управления заданиями, системы управления данными и других систем с целью повышения эффективности, надежности, целостности хранения информации и оперативного доступа к ней;

- внедрение и развитие многоуровневой системы мониторинга инфраструктуры, ресурсов, сервисов, приложений, виртуальных организаций, пользователей, потоков заданий и данных.

Немаловажным является также оперативное взаимодействие моделирования процессов и сценариев с системой мониторинга, что дает возможность получения актуальной информации и распределения параметров в качестве входной информации для модели.

Последние 20 лет стремительно развиваются сетевые технологии, аппаратные средства для вычислений и хранения данных; появляются новые модели компьютинга и архитектурные решения в организации вычислительных комплексов; совершенствуются глобальные распределенные системы вычислений и хранения данных.

Поскольку объемы научных данных и сложность их обработки стремительно увеличиваются, то постоянно растут и требования со стороны пользователей к уровню и качеству организации процессов обработки и анализа информации.

В работе решена двуединая задача: разработка методологии развития глобальной грид-инфраструктуры и методологии развития ресурсных центров в составе этой глобальной системы.

С точки зрения системного анализа глобальная грид-инфраструктура представляет собой сложную динамическую и постоянно развивающую систему. Эта система объединяет грид-сайты, которые предоставляют свои ресурсы для пользователей, объединенных по профессиональным интересам в виртуальные организации.

Каждый ресурсный центр также является сложной динамической системой, имеющий свои масштабы: от мощных вычислительных комплексов с многоуровневой системой хранения информации до небольших кластеров. Грид-сайты различаются не только производительностью вычислительного комплекса и объемом системы хранения данных, но и другими характеристиками: предоставляемым грид-сервисам, поддерживаемым виртуальным организациям, системам управления заданиями и данными и т.д.

Для эффективного и надежного функционирования ресурсного центра в составе глобальной грид-инфраструктуры необходимо, чтобы все инфраструктурные уровни, ресурсы, компоненты, базовое и промежуточное программное обеспечение, приложения и сервисы были сбалансированы.

Для решения этой задачи разработана комплексная многоуровневая система глобального и локального мониторинга всей грид-инфраструктуры в целом и ресурсных центров. Эта комплексная система обеспечивает постоянный сбор и систематизацию информации об объектах и параметрах инженерной и сетевой инфраструктуры, аппаратных и программных ресурсах, сервисах и приложений, виртуальных организаций и пользователей, потоков заданий и данных. Система мониторинга обеспечивает обратную связь в случае, если происходят ошибки или отклонения параметров объектов от заданных условий, а также выполняют функции анализа и прогнозирования поведения системы.

Одной из главных особенностей грид-системы по сравнению с другими системами распределенных вычислений является децентрализация глобальных сервисов, что решает чрезвычайно важную проблему масштабируемости, но усложняет проблему управления такой децентрализованной системой.

Сложность управления глобальной грид-инфраструктурой и обеспечения ее устойчивого функционирования заключается в децентрализации сервисов, географической распределенности ресурсных центров, а также в постоянном изменении ресурсов, сервисов, конфигурации, нагрузки, потоков заданий и данных и других ключевых параметров этой сложной системы.

Для экспериментов на Большом адронном коллайдере выполнены работы по совершенствованию модели компьютинга в соответствии с требованиями пользователей виртуальных организаций.

Эта деятельность также имеет большое значение при проектировании распределенной компьютерной инфраструктуры для экспериментов на ускорительном комплексе НИКА.

ЙЙ/Ли ¡¡и

I / « ' 1 и1

11 Ч«/'

I , > ; , *

11 ' у IГ Л) »1

М <1 1' с Г"

1 " <

Ч' к^. уГч*

В диссертационной работе предложена и обоснована методология развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности функционирования всей распределенной системы в целом, так и каждого ресурсного центра.

Список литературы диссертационного исследования доктор технических наук Кореньков, Владимир Васильевич, 2012 год

1. Э. Таиенбаум, М. ваи Стеен: Распределенные системы. Принципы и парадигмы // СПб., Питер, 2003, с. 876.

2. В.В. Воеводин, Вл.В. Воеводин: Параллельные вычисления // СПб., БХВ-Петербург, 2002, с. 608.

3. Rene Brun: Technologies, Collaborations and Languages: 20 Years of HEP Computing // the book "From the Web to the Grid and Beyond (Computing Paradigms Driven by High-Energy Physics)", Springer, 2010, p. 1-53.

4. Les Robertson: Computing Services for LHC: From Clusters to Grids // the book "From the Web to the Grid and Beyond (Computing Paradigms Driven by High-Energy Physics)", Springer, 2010, p.69-89.

5. CMS Collaboration: Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC // Phys. Lett. В 716 (2012) 30-61.

6. ATLAS Collaboration: Observation of a new particle in the search for the Standard Model Higgs boson with the ATLAS detector at the LHC // Phys. Lett. В 716 (2012) 1-29

7. А. Климентов, В. Кореньков: Распределенные вычислительные системы и их роль в открытии новой частицы // Суперкомпьютеры, 2012, №3 (11), с.7-11.

8. J. Foster, К. Kesselman: GRID: a Blueprint to the New Computing Infrastructure // Morgan Kaufman Publishers, 1999, p. 690.

9. Ян Фостер, Карл Кессельман, Джефри М. Ник, Стивен Тьюке: Физиология Грид // книга «Технологии грид», Т.2, М., ИПМ им. М.В.Келдыша, 2006, с.47-97.

10. I. Foster, С. Kesselman, J. Nick, S. Tuecke: Grid Services for Distributed System Integration // Computer, 35(6), 2002.

11. J. Foster, K. Kesselman: GRID 2: a Blueprint to the New Computing Infrastructure // Morgan Kaufman Publishers, 2003, p. 730.

12. I. Foster: Building an Open Grid // NCA, IEEE Computer Society, 2003, p. 191.

13. M. Aderholz et al.: Models of Networked Analysis at Regional Centers for LHC Experiments (MONARC) Phase 2 Report // CERN/LCB, 2000-001 (2000).

14. В. Коваленко, Д. Корягин: Вычислительная инфраструктура будущего// Открытые системы, 1999, №11-12, с. 21-35.

15. В.В. Кореньков, Е.А. Тихоненко: О необходимости создания российского GRID-сегмента // Сборник трудов Всероссийской научной конференции «Интернет в научных исследованиях», изд. МГУ, 2000, с.86-90.

16. В.А. Ильин, В.В. Кореньков: Создание инфраструктуры DATAGRID в России // Сборник Всероссийской научной конференция "Научный сервис в сети ИНТЕРНЕТ", изд-во МГУ, 2002, с.231-238.

17. В.А. Ильин, В.В. Кореньков: Создание Российского сегмента европейской инфраструктуры EU DataGrid // Труды Всероссийской конференции «Электронные библиотеки», Дубна, 2002, с.239-248.

18. ATLAS Computing, Technical Design Report // CERN-LHCC-2005-022 , CERN, Geneva, 2005, p. 233.

19. CMS Collaboration: The Computing Project, Technical Design Report// CERN- LHCC-2005-023, CERN, Geneva, 2005, p. 169.

20. LHC Computing Grid Technical Design Report // CERN-LHCC-2005-024, CERN, Geneva, 2005, p. 145.

21. В.А. Ильин, В.В. Кореньков, A.A. Солдатов: Российский сегмент глобальной инфраструктуры LCG // Открытые системы, 2003, №1, с.56-60.

22. Tony Hey, Stewart Tansley, Kristin Tolle: The Fourth Paradigm DataIntensive Scientific Discovery // Microsoft research redmond, Washington, 2009, p.251

23. В. Бедняков, В. Кореньков: Перспективы Грид-технологий в промышленности и бизнесе // «Знание-сила», 2010, №10, с.97-103.

24. V. Ilyin, V. Korenkov, A. Soldatov: RDIG (Russian Data Intensive Grid) e-Infrastructure // Proc. of XXI Int. Symposium of Nuclear Electronics & Computing ((NEC"2007, Varna, Bulgaria), ISBN 5-9530-0171-1, Dubna, 2008, p.233-238.

25. В.Н. Коваленко, Д.А. Корягин: Распределённый компьютинг и грид // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.7-28.

26. В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, Е.В. Хухлаев: Современное состояние и проблемы развития программного обеспечения грид // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.52-74.

27. В.Н. Коваленко, Д.А. Корягин: Оценка возможностей программных платформ грид // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.75-81.

28. В.Н. Коваленко, Е.И. Коваленко: Пакетная обработка заданий в компьютерных сетях // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.84-103.

29. В.Н. Коваленко, Д.А. Корягин: Организация ресурсов грид // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.135-159.

30. В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин, Э.З. Любимский, Е.В. Хухлаев: Управление заданиями в распределенной вычислительной среде // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.211-226.

31. С.А. Богданов, В.Н. Коваленко, Е.В. Хухлаев, О.Н. Шорин: Метадиспетчер: реализация средствами метакомпьютерной системы Globus // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.227-247.

32. В.М. Волохов, Д.А. Варламов, A.B. Пивушков, A.B. Волохов: Применение GRID технологий в области вычислительной химии // "Известия Академии наук. Серия химическая", 2011, №7, с. 1483-1490.

33. А.Р. Afanasiev, S.V. Emelyanov, Y.R. Grinberg, V.E. Krivtsov, B.V. Peltsverger, O.V. Sukhoroslov, R.G. Taylor, V.V. Voloshinov: Distributed Computing and Its Applications. // Felicity Press, Bristol, USA, 2005, 298p.

34. Вл.В. Воеводин, С.А. Жуматий: Вычислительное дело и кластерные системы // М., Изд-во МГУ, 2007, 150с

35. Вл.В. Воеводин: Тор500: числом или уменьем? // Открытые системы, 2005, №10, с.12-15.

36. А.В. Богданов: Архитектура и топологии многопроцессорных вычислительных систем // http://gendocs.ru/vl0590/.

37. В.В. Топорков: Модели распределенных вычислений // М., ФИЗМАТЛИТ, 2004, с.320.

38. А.О. Лацис: Как построить и использовать суперкомпьютер // М., Бесстселлер, 2003, с. 238.

39. В.В. Корнеев: Вычислительные системы // М., Гелиос АРВ, 2004, с.511.

40. В.Г. Кадышевский, А.Н. Сисакян: Полувековой юбилей Объединенного института ядерных исследований // УФН, 176:3 (2006), с. 311-318.

41. В.В. Мицын, В.В. Кореньков, К.Ф. Окраинец, Р.Г. Позе, М.Ю. Попов: О развитии информационно-вычислительной инфраструктуры ОИЯИ // Краткие сообщения ОИЯИ, 1995, №270], с.5-10.

42. V. Korenkov: Status and Perspectives of JINR Computing Centre // Proc. of Int. Conf. «High Performance Computing on Hewlett-Packard Systems», Zurich, Switzerland, 1998, p.224-227.

43. V. Korenkov, N. Zaikin, T. Strizh: Computing and networking at JINR // Czechoslov. J. Phis., 2001, №51, p.355-362.

44. V. Korenkov: Grid activities at the Joint Institute for Nuclear Research // Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-5-9530-0269-1, Dubna, 2010, p. 142-147.

45. Eric Brewer: CAP Twelve Years Later: How the "Rules" Have Changed // Computer, May 2012.

46. В.В. Кореньков: Использование грид-технологий для обработки и распределенного хранения сверхбольших объемов данных (сотни петабайт) // Труды XIV научной конференции RCDL-2012, Университет города Переславля, 2012, с.102-107.

47. Б. Байцер: Архитектура вычислительных комплексов // Пер. с англ., Т.1 и 2, М., Мир, 1974, с.560 и 570.

48. Д. Донован: Системное программирование // -М., Мир, 1975, с. 540.

49. J. Martin: Computer Networks and Distributed Processing. Software, Techniques and Architecture // Prentice-Hall Inc., Englewood Cliffs, N/J/07632, 1981, p.240.

50. JI.H. Королев: Структуры ЭВМ и их математическое обеспечение // М., Наука, Главная редакция физ.-мат. литературы, 1978, с. 310.

51. Г. Майерс: Надежность программного обеспечения // М., Мир, 1980, с. 360.

52. Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит: Характеристики качества программного обеспечения // М., Мир, 1981.

53. В.В. Липаев: Надежность программного обеспечения АСУ // М., Энергоиздат, 1981, с. 370.

54. Н.Н. Говорун: Некоторые вопросы применения электронных вычислительных машин в физических исследованиях // Автореферат диссертации на соискание ученой степени доктора физико-математических наук, ОИЯИ, 10-4437, Дубна, 1969, с. 29.

55. В.П. Шириков: Математическое обеспечение системы машин измерительно-вычислительного комплекса ОИЯИ // Авторефератдиссертации на соискание ученой степени доктора физико-математических наук, ОИЯИ, 11-8174, Дубна, 1974, с. 28.

56. INTERCOM Reference Manual: Control Data Corp. // Publ. 60307100, USA, 1974.

57. JI.A. Калмыкова, В.П. Шириков: Руководство для пользователей ЭВМ СДС-6500 по использованию возможностей INTEPCOM при работе за терминалами // ОИЯИ, Б1-11-10705, Дубна, 1977, с.76.

58. В.Е. Аниховский, С.А. Афанасьев, В.В. Галактионов, С.Г. Каданцев,

59. A.А.Семенов, В.П. Шириков, С.А. Щелев: Система коллективного пользования на базе ЭВМ БЭСМ-6 и концентратора терминалов. Перспектива ее развития // ОИЯИ, PI 1-12809, Дубна, 1979, с. 8.

60. В.В. Кореньков: Программные средства для реализации диалога с ЕС ЭВМ Автореферат диссертации на соискание ученой степени кандидата физико-математических наук // ОИЯИ, PI 1-85-755, Дубна, 1985, с.20.

61. В.В. Галактионов, H.H. Говорун, Н.С. Заикин, С.Г. Каданцев,

62. B.В. Кореньков, Е.Ю. Мазепа, В.Я. Фарисеев, В.П. Шириков: Состояние и перспективы развития математического обеспечения для локальной терминальной сети ОИЯИ // ОИЯИ, PI 1-85-335, Дубна, 1985, с.14.

63. С.Г. Каданцев, В.В. Кореньков, А.П. Сапожников, C.B. Семашко, В.Э. Файн: Использование коммуникационного протокола KERMIT в ОИЯИ//ОИЯИ PI 1-91-143 Дубна, 1991, с. 12.

64. V. Boirisovskij, A. Ershov, V. Korenkov, Yu. Stolyarsky, P. Sychev: JINR Information Infrastructure Development Concept // Proc. of Int. Conf. "Programming and Mathematical techniques in Physics", World Scientific, Singapore, 1994, p.129-137.

65. В.В. Мицын, В.В. Кореньков, К.Ф. Окраинец, Р.Г. Позе, М.Ю. Попов: О развитии информационно-вычислительной инфраструктуры ОИЯИ // Краткие сообщения ОИЯИ, 1995, №270], с.5-10.•К.У;".I11«1. I |< .1 I , I 'С Irv

66. V. Korenkov, R. Pose: Status and trend of development of networking and computing at JINR // Proc. of XVII International Symposium on Nuclear Electronics, Varna, 1997, p. 168-171.

67. V. Korenkov: Status and Perspectives of JINR Computing Centre // Proc. of Int. Conf. «High Performance Computing on Hewlett-Packard Systems», Zurich, Switzerland, 1998, p.224-227.

68. V. Korenkov, N. Zaikin, T. Strizh: Computing and networking at JINR // Czechoslov. J. Phis., 2001, №51, p.355-362.

69. B.B. Мицын, В.В. Кореньков, Е.А. Тихоненко: Развитие и использование ресурсов и сервисов Центрального информационно-вычислительного комплекса ОИЯИ // Годовой отчет ЛИТ 2003, ISBN 5-9530-0046-4, ОИЯИ, Дубна, 2004, с. 15-21.

70. В.В. Мицын, В.В. Кореньков, Е.А. Тихоненко: Концепция GRID: на пути к глобальному информационному обществу XXI века // Сообщение ОИЯИ, Р11-2001-58, 2001, с.8.

71. Проект по разработке фундаментальных грид-технологий, Альянс Globus http://www.globus.org/.

72. Legion http://legion.virginia.edu/index.html.

73. Condor http://www.cs.wisc.edu/condor/.

74. Unicore http://www.unicore.eu/.

75. ARC http://www.nordugrid.org/middleware/.87. gLite http://glite.cern.ch/.

76. European Middleware Initiative, EMI http://www.eu-emi.eu.

77. O. Smirnova, В. Konya, C. Aiftimiei, M. Cecchi, L. Field, P. Fuhrmann, J. K. Nilsen, J. White: Implementation of common technologies in GRID

78. MIDDLEWARES // Proceedings of the 5th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2012», ISBN 978-5-9530-0345-2, Dubna, 2012, p.220-227.

79. P. Fuhrmann: dCache, the Overview Электронный ресурс] http://www.dcache.org/manuals/dcache-whitepaper-light.pdf.

80. A. Hanushevsky: Xrootd Architectures Электронный ресурс] http://xrootd.slac.stanford.edu/presentations/OSGAHMl 103 .Plenary .pptx.

81. B.C. Анфилатов, А.А. Емельянов, А.А. Кукушкин: Системный анализ в управлении // М., Финансы и статистика, 2009, с. 367.

82. М.К. Валиев, E.JI. Китаев, М.И. Слепенков: Служба директорий LDAP как инструментальное средство для создания распределенных информационных систем // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с.162-183.

83. М.К. Валиев, E.JI. Китаев, М.И. Слепенков: Использование службы директорий LDAP для представления метаинформации в глобальных вычислительных системах // книга «Технологии грид», Т.1, М., ИПМ им. М.В.Келдыша, 2006, с. 184-210.

84. C.B. Знахур, C.B. Листровой, C.B. Минухин, B.C. Пономаренко: Методы и модели планирования ресурсов в GRID-системах // Харьков, ИД «ИНЖЕК», 2008, 407с.

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания.
В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.

Автореферат
200 руб.
Диссертация
500 руб.
Артикул: 479253