Методы и программные средства создания распределённых гетерогенных вычислительных сред на базе платформы DIRAC тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Пелеванюк Игорь Станиславович

• Пелеванюк Игорь Станиславович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Пелеванюк Игорь Станиславович

Введение

Глава 1. Методы и технологии организации географически распределённых гетерогенных вычислительных систем для обработки данных

1.1 Роль распределённых гетерогенных вычислительных систем в обработке научных данных

1.2 Описание типичной модели обработки данных экспериментов физики высоких энергий

1.3 Задачи обработки данных решаемые с помощью распределённых вычислительных систем

1.3.1 Обработка сырых данных - реконструкция

1.3.2 Генерация событий

1.3.3 Симуляция прохождения частиц через детектор

1.3.4 Реконструкция данных Монте-Карло

1.3.5 Анализ данных полученных методом Монте-Карло и данных полученных в эксперименте

1.4 Начало использования технологий грид для обработки научных данных в физике частиц

1.5 Платформа ЭЖАС

1.6 Экосистема РапЭА

1.7 Выбор платформы для организации распределённых вычислений

Глава 2. Организация географически распределенной

гетерогенной вычислительной среды с помощью платформы ВГОЛС

2.1 Установка платформы ЭШАС в ОИЯИ

2.1.1 Методика установки и настройки компонентов платформы ЭЖАС

2.1.2 Установка и настройка компонентов ЭЖАС

2.2 Анализ доступных для интеграции вычислительных ресурсов

Стр.

2.3 Анализ доступных систем хранения

2.4 Интеграция вычислительных ресурсов в систему ЭШЛО

2.5 Интеграция облачных ресурсов в систему ЭШЛО

2.6 Интеграция систем хранения данных в распределённую систему

2.7 Выводы по главе

Глава 3. Разработка систем мониторинга и анализа

выполнения больших пакетов задач

3.1 Требования к инструментам мониторинга и анализа хода выполнения больших пакетов задач

3.2 Система мониторинга выполнения пользовательских задач

3.3 Система мониторинга передач данных

3.4 Система анализа выполнения больших пакетов задач

3.5 Совместное использование разработанных систем мониторинга

3.6 Выводы по главе

Глава 4. Применение организованной географически

распределённой гетерогенной вычислительной среды

для решения практических задач обработки данных

4.1 Запуск задач обработки данных

4.2 Автоматизация запуска больших пакетов задач

4.3 Массовая передача данных между системами хранения

4.4 Обработка экспериментальных данных БМ@К

4.5 Использование созданной инфраструктуры различными экспериментами

4.6 Выводы по главе

Заключение

Словарь терминов

Список литературы

Список рисунков

Список таблиц

Стр.

Приложение А. Список основных компонентов, входящих в

платформу БГОЛС

Приложение Б. Пример исполняемого файла задачи

Приложение В. Общий вид информационных панелей

Введение диссертации (часть автореферата) на тему «Методы и программные средства создания распределённых гетерогенных вычислительных сред на базе платформы DIRAC»

Введение

Актуальность организации географически распределённых гетерогенных вычислительных сред обусловлена двумя основными факторами. С одной стороны, наблюдается рост объёмов данных, генерируемых современными научными экспериментами и проектами. Требования таких экспериментов зачастую превышают возможности любого из доступных для них вычислительных ресурсов. С другой стороны, может существовать возможность выделения части ресурсов в рамках нескольких вычислительных кластеров, систем хранения, суперкомпьютеров и облачных инфраструктур для решения задач обработки данных этих экспериментов. В таком случае, несмотря на то, что ни один из вычислительных ресурсов сам по себе не может решить весь набор задач обработки данных, вместе они способны предоставить достаточный объём вычислительных ресурсов и систем хранения. В таком случае возникает необходимость организации единой вычислительной среды, способной интегрировать доступные ресурсы и использовать их для хранения и обработки данных.

В качестве примера можно привести эксперименты мегасайенс проекта NICA: BM@N [1], MPD [2], SPD [3]. По оценкам, приведенным в документе «TDR MPD: Data Acquisition System» от 2018 года [4], поток данных с детектора MPD составит, как минимум 6.5 ГиБ/с. Эксперимент BM@N в ходе 8-го сеанса за два месяца собрал более 400 ТБ данных. Для эксперимента SPD предварительные оценки по количеству получаемых данных приближаются к 20 ГиБ/с.

Объединённый институт ядерных исследований (ОИЯИ) располагает широким спектром различных вычислительных ресурсов: кластерами Tier1/Tier2, суперкомпьютером «Говорун», облачной инфраструктурой, кластером «NICA», а также системами дискового и ленточного хранения. Кроме того, собственными ресурсами, которые могут быть использованы для решения задач обработки данных различных экспериментов, располагают организации стран-участниц ОИЯИ и организации — члены коллабораций. Многие из этих ресурсов могут быть частично задействованы для решения задач обработки данных различных экспериментов. В таком случае возникает задача организации географически распределённой гетерогенной вычислительной среды, которая позволила бы интегрировать эти ресурсы в единую систему.

В рамках данной работы в качестве базовой платформы для организации такой среды была выбрана платформа ЭШАС [5]. Эта платформа содержит базовый набор инструментов для интеграции вычислительных ресурсов, управления задачами, управления данными, автоматизации рабочих процессов. Однако существующий инструментарий платформы не является исчерпывающим и может быть доработан для нужд конкретных экспериментов и научных групп. К примеру, в него не входят инструменты мониторинга задач и передачи данных, инструменты анализа выполнения больших пакетов задач, а также изначально отсутствовала возможность прямой интеграции облачных ресурсов, работающих с системой ОрепКеЬи1а.

На сегодняшний день, даже при наличии готовых инструментов, организация географически распределённых гетерогенных вычислительных сред всё ещё остаётся сложной задачей, требующей комплексного подхода.

Целью данной работы является развитие методов и программных средств для организации распределённых гетерогенных вычислительных сред обработки данных на базе платформы ОЖАС.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Провести анализ существующих методов и технологий организации распределённых гетерогенных вычислительных сред.

2. Разработать методы и создать программный инструментарий для интеграции облачных инфраструктур ОрепКеЬи1а в рамках платформы ОЖАС.

3. Организовать распределённую гетерогенную вычислительную среду для решения задач обработки данных.

4. Разработать систему мониторинга пользовательских задач и передач данных.

5. Разработать методы и создать программный инструментарий для запуска больших пакетов задач и массовой передачи данных.

6. Применить разработанные инструменты для решения практических задач обработки данных.

Научная новизна:

1. Разработан новый программный инструментарий, позволяющий интегрировать в инфраструктуры, построенные на базе платформы ОЖАС, облачные ресурсы, работающие на базе ПО ОрепКеЬи1а.

2. Предложены и реализованы новые методы мониторинга пользовательских задач, мониторинга передач данных, запуска больших пакетов задач и массовой передачи данных для инфраструктур, работающих на базе платформы DIRAC.

3. Предложен и реализован оригинальный метод анализа выполнения больших пакетов задач в распределённых гетерогенных вычислительных средах, основанный на анализе соответствия между производительностью вычислительных ядер и длительностью выполнения задач на этих ядрах.

Практическая значимость

1. Распределённая гетерогенная вычислительная среда, организованная с использованием предложенных методов и разработанного программного инструментария, с 2019 года применяется для проведения сеансов массового моделирования данных эксперимента MPD. Эксперимент BM@N использует её в том числе и для обработки экспериментальных данных начиная с 8-го сеанса. Также созданная среда использовалась для решения задач экспериментов SPD и Baikal-GVD.

2. С использованием разработанного программного инструментария для интеграции облачных ресурсов, работающих на базе ПО OpenNebula, произведено объединение облачных ресурсов ОИЯИ и стран-участниц для проведения вычислений. Объединенная инфраструктура облаков ОИЯИ и стран-участниц была использована для участия в проекте Folding@Home для изучения вируса SARS-CoV-2, а также для выполнения задач моделирования эксперимента Baikal-GVD.

3. Методы и средства анализа выполнения больших пакетов задач на распределённых гетерогенных вычислительных ресурсах позволили обнаружить ошибку в оценках DB12 для процессоров AMD и оценить производительность процессоров на разных вычислительных ресурсах. Эти методы и средства были адаптированы и использованы в рамках распределённой вычислительной инфраструктуры Института физики высоких энергий Китайской академии наук в Пекине.

Основные положения, выносимые на защиту:

1. Разработаны методы и реализован программный инструментарий, расширивший возможности платформы DIRAC, и позволивший напрямую

интегрировать облачные ресурсы, использующие систему OpenNebula для запуска пользовательских задач.

2. Предложены и реализованы методы мониторинга пользовательских задач и передач данных, а также метод анализа выполнения больших пакетов задач, использование которых позволяет оценивать требования пользовательских задач к вычислительным ресурсам, выявлять задачи и ресурсы работающие неэффективно, планировать выполнение больших пакетов задач.

3. Предложены и реализованы методы запуска больших пакетов задач и массовой передачи данных, которые упрощают для пользователя запуск задач обработки данных и выполнение операций с файлами.

4. Произведена интеграция вычислительных ресурсов (ресурсы грид, кластеры, облака и суперкомпьютер «Говорун») и систем хранения (дисковые и ленточные) в организованную распределённую гетерогенную вычислительную среду, построенную на базе платформы DIRAC, позволяющую решать задачи обработки данных экспериментов B@MN, MPD, SPD, Baikal-GVD.

Апробация работы. Результаты работы неоднократно докладывались и обсуждались на научных семинарах ОИЯИ и других научных центров, а также на российских и международных научных конференциях:

- Международная конференция «Distributed computing and Grid technologies in science and education» 2018, 2021, 2023 (Dubna, Russia);

- Nuclear Electronics and Computing 2019;

- International DIRAC Users workshop 2018, 2019, 2020, 2021, 2022, 2023;

- Параллельные вычислительные технологии 2022 (ПаВТ);

- Международная конференция DAMDID/RCDL «Аналитика и управление данными в областях с интенсивным использованием данных», 2019, 2020;

- NICA Conference 2020;

- Суперкомпьютерные дни в России 2021;

- International Scientific Conference of Young Scientists and Specialists (AYSS) 2020, 2021, 2022, 2023;

- Information and Telecommunication Technologies and Mathematical Modeling of High-Tech Systems (ITTMM) 2021;

- X Международная научно-практическая конференция «Абалкинские чтения»;

- VI, VII, VIII MPD Collaboration Meeting;

- VI, VII, VIII, IX, X BM@N Collaboration Meeting;

- III SPD Collaboration Meeting;

- Семинары ЛИТ 2019, 2020, 2024;

- 57th meeting of the PAC for Particle Physics, JINR, 2023 (Russia, Dubna, poster session);

- 59th meeting of the PAC for Particle Physics, JINR, 2024 (Russia, Dubna, poster session).

Диссертационное исследование выполнялось в рамках Проблемно-тематического плана научно-исследовательских работ и международного сотрудничества ОИЯИ по теме № 05-6-1118-2014/2026 «Информационно-вычислительная инфраструктура ОИЯИ», а также при поддержке:

- гранта РФФИ в рамках научного проекта № 18-02-40101 «Адаптация алгоритмов и фреймворков на высокопроизводительные вычислительные архитектуры и разработка новых алгоритмов на основе методов машинного обучения для существенного повышения производительности и эффективности обработки и реконструкции данных в экспериментах на ускорительном комплексе NICA» (руководитель Подгайный Д.В.);

- грантов ОИЯИ для молодых ученых и специалистов (№18-603-03, №20-603-05, №21-603-03, №22-603-01, №23-603-02) и стипендии имени Николая Николаевича Говоруна в 2024.

Соответствие паспорту специальности. Содержание диссертационной работы соответствует формуле специальности 2.3.5, поскольку содержит разработку набора программного инструментария для создания и эффективного использования распределенной гетерогенной вычислительной среды. Проблематика диссертации соответствует следующим пунктам шифра специальности 2.3.5:

- пункт 3 - модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем;

- пункт 8 - модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования;

— пункт 9 - модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных.

Личный вклад. Содержание диссертации, а также основные результаты и положения, выносимые на защиту, отражают персональный вклад автора.

Подготовка к публикациям полученных результатов проводилась совместно с соавторами, при этом вклад соискателя в работы [1,2,11,15] существенный, а в остальные работы - определяющий. Все представленные в диссертации результаты получены лично автором, либо в соавторстве при определяющем вкладе соискателя.

Публикации. Основные результаты по теме диссертации изложены в 15 печатных изданиях, соответствующих Положению о присуждении учёных степеней в ОИЯИ.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 3 приложений. Полный объём диссертации составляет 125 страницу с 29 рисунками и 6 таблицами. Список литературы содержит 94 наименований.

Глава 1. Методы и технологии организации географически

распределённых гетерогенных вычислительных систем для

обработки данных

1.1 Роль распределённых гетерогенных вычислительных систем в

обработке научных данных

В современной науке успех масштабных исследовательских проектов всё чаще определяется возможностью эффективного использования географически распределённых вычислительных ресурсов и систем хранения данных. Для таких проектов часто отсутствует возможность создания единого вычислительного центра и для них организуются географически распределённые среды, объединяющие широкий спектр разнообразных ресурсов. Такая ситуация наблюдается в таких областях, как физика высоких энергий, астрономия, геномика, биология и медицина, что ведёт к повсеместному внедрению распределённых систем.

Ярким примером успешного применения географически распределённых систем является проект Worldwide LHC Computing Grid (WLCG) - глобальная инфраструктура, созданная для обработки данных Большого адронного коллай-дера. Эта система объединяет более 170 вычислительных центров в 42 странах, образуя многоуровневую иерархию хранения и обработки данных [6]. Такой подход позволил эффективно распределить нагрузку между центром Tier-0, где выполняется первичная обработку данных, и центрами уровня Tier-1 и Tier-2, обеспечивающими дальнейший анализ и хранение.

В астрономии распределённые системы стали ключевым инструментом для работы с данными новых поколений телескопов. Проект Large Synoptic Survey Telescope (LSST) использует географически распределённую архитектуру с центрами обработки данных в США и Чили, что позволяет оперативно анализировать потоки информации, достигающие 20 петабайт в год [7]. Другой пример использования распределённых систем для хранения данных является проект TAIGA, для хранения данных которого была создана распределённая система хранения данных [8].

Геномные исследования также демонстрируют преимущества распределённых подходов. Европейская инфраструктура ELIXIR объединяет вычислительные ресурсы 22 стран, предоставляя доступ к распределённым базам геномных данных более чем для 500 тысяч пользователей [9].

В Институте системного программирования Российской академии наук разрабатываются системы для обработки больших массивов данных, с особым вниманием к слабоструктурированным и неоднозначным данным, характерным для медицинской и биологической сфер. Для реализации интеллектуальных методов поиска, хранения и анализа данных используются различные программные пакеты, работающие в рамках распределённых систем, состоящих из сотен и тысяч узлов [10].

Таким образом, современные научные проекты всё больше полагаются на географически распределённые вычислительные инфраструктуры, которые обеспечивают не только необходимую производительность, но и отказоустойчивость, масштабируемость и доступ к данным для международных исследовательских групп. Эта тенденция будет только усиливаться по мере роста объёмов научных данных и усложнения исследовательских задач.

Эксперименты на ускорительном комплекса NICA не являются исключением. Nuclotron based Ion Collider fAcility (NICA) - это новый ускорительный комплекс, который создаётся на базе Объединённого института ядерных исследований (ОИЯИ). Этот проект направлен на изучение горячего и плотного барионного вещества в столкновениях тяжелых ионов в диапазоне энергий до 11.0 AGeV [11]. План развития ускорительного блока NICA включает модернизацию существующего сверхпроводящего синхротрона Nuclotron и строительство нового комплекса ввода, сверхпроводящего ускорителя Booster и сверхпроводящего коллайдера с двумя точками взаимодействия. Программа столкновений тяжелых ионов будет осуществляться с использованием эксперимента с фиксированной мишенью - Baryonic Matter at Nuclotron (BM@N) на пучке, извлеченном из синхротрона Nuclotron, и с помощью детектора Multipurpose Detector (MPD) на первой точке взаимодействия коллайдера NICA. Планируется изучение структуры спина нуклонов и явлений поляризации с помощью детектора Spin Physics Detector (SPD) на второй точке взаимодействия коллайдера.

По оценкам, приведенным в документе «TDR MPD: Data Acquisition System» от 2018 года, поток данных с детектора MPD составит, как минимум

6.5 ГиБ/с [4]. Эксперимент BM@N в ходе 8го сеанса за два месяца собрал более 400 ТБ данных [12]. Для эксперимента SPD предварительные оценки по количеству получаемых данных приближаются к 20 ГиБ/с [3].

Для данных экспериментов в настоящее время не существует единого вычислительного ресурса, способного охватить весь спектр задач обработки данных. Эти задачи предлагается рассматривать в качестве примера задач, которые могут быть решены с помощью географически распределённой гетерогенной вычислительной среды.

1.2 Описание типичной модели обработки данных экспериментов

физики высоких энергий

Каждый из экспериментов физики высоких энергий предполагает создание сложной установки, которая будет состоять из нескольких детекторных подсистем, каждая из которых способна регистрировать прохождение частиц через себя. При прохождении частиц, электроника детекторной подсистемы сохраняет полученные сигналы. В зависимости от того, каким образом устроен сбор данных, эти сигналы могут проходить через систему триггеров, которая определяет, является ли набор данных полученных экспериментом в конкретный момент времени интересным для получения научных результатов. В случае, если данные интересные, они сохраняются в виде файлов формата сырых данных RAW. Если же данные классифицируются триггерной системой как неинтересные, то они удаляются.

Эксперименты физики высоких энергий были основными пользователями в научных вычислениях в последние десятилетия, превосходя большинство областей науки по сложности кода, требованиям к количеству ресурсов и числу исследователей, получающих доступ к данным.

Основное внимание данной работы сосредоточено на модели offline-вычис-лений. Стоит уточнить, что не всегда можно однозначно определить границу между offline и online вычислениями. Некоторые эксперименты уже столкнулись с некоторым размытием границ между работой триггеров и offline вычислениями [13].

Рисунок 1.1

Типичная схема получения, обработки и анализа данных в экспериментах физики высоких энергий

Из-за сложности физических моделей, симуляции столкновений, описаний детекторного оборудования и алгоритмов реконструкции, невозможно извлечь ценную информацию, напрямую сравнивая собранные данные с теоретическими гипотезами. Из-за этого экспериментам требуются большие наборы данных, полученных методом Монте-Карло с использованием специальных генераторов. Эксперименты стараются одинаково обрабатывать данные полученные с установок и данные полученные в результате моделирования Монте-Карло. Поэтому, для работы с двумя потоками данных используется одна и та же программная среда. На рисунке 1.1 схематически показан пример рабочего процесса, который начинается сбором и генерацией данных и заканчивается физическим анализом.

Экспериментальные данные о событиях собираются экспериментальной установкой и проходят фильтрацию с помощью аппаратных/программных средств. Далее, специальное программное обеспечение производит реконструкцию. В результате реконструкции получаются данные, в которых события описаны в терминах физических объектов (треки, вершины, джеты). Они используются при последующем физическом анализе.

Другим большим источником данных для эксперимента являются физическая модель изучаемого процесса. Данные модели получаются с помощью метода Монте-Карло. Специальными генераторами создаются наборы событий с прицелом на изучаемые физические процессы. События, полученные от генераторов, используются, как входные данные для программ, симулирующих взаимодействия частиц с моделью детектора. В результате симуляции получаются наборы данных, которые сходны с теми, что приходят с экспериментальных установок. И после их реконструкции получается ещё один набор данных с событиями, описанными в физических терминах.

Прямое сравнение двух наборов данных позволяет, в итоге, делать выводы о характеристиках изучаемых физических процессов. На рисунке 1.1, красными стрелками показаны процессы и операции требующие интенсивного использования вычислительных ресурсов. Триггеры и процедуры сбора данных помимо стандартных вычислительных ресурсов могут использовать специализированные электронные устройства. Несмотря на это, очевидно, что современные исследования в области физики частиц требуют всеобъемлющего использования вычислительных систем на всех этапах работы с научными данными.

1.3 Задачи обработки данных решаемые с помощью распределённых вычислительных систем

Предлагается рассмотреть основные классы задач обработки данных, которые могут решаться с использованием распределённых вычислительных сред, на примере экспериментов на ускорительном комплексе NICA. Уже работает эксперимент BM@N, строится детектор эксперимента MPD и проектируется эксперимент SPD. Задачи обработки данных этих экспериментов по большей части являются такими же, какие были описаны в разделе 1.2.

1.3.1 Обработка сырых данных — реконструкция

Данные получаемые с детекторов не позволяют сразу проводить физический анализ тех процессов, которые привели к появлению этих данных. В результате работы специально разработанных алгоритмов реконструкции из сырых данных получаются файлы, в которых сохранены не просто сигналы с детекторов, а уже описания частиц. Процесс реконструкции обычно включает: фильтрацию шумов, которые неизбежно возникают в детекторах; коррекцию систематических ошибок, вызванных неоднородностью магнитного поля или физическим смещением некоторых детекторов; интерпретацию полученных сигналов, в процессе которой появляется информация о частицах участвовавших в событиях, их треках и энергиях. В зависимости от модели обработки данных конкретного эксперимента, процесс реконструкции может разбиваться на несколько этапов.

Сырые данные - это те данные, которые являются наиболее ценными, так как при их повреждении на экспериментальной установке невозможно повторить их получение. Можно повторить эксперимент, но в силу случайной природы взаимодействий внутри эксперимента, точно такой же набор данных получить будет невозможно. Поэтому сырые данные хранятся в нескольких копиях, в разных хранилищах данных. Для более надёжного хранения зачастую используются ленточные библиотеки, которые позволяют максимально эффективно хранить данные ценой скорости работы с ними и удобства доступа к этим данным.

Задача обработки сырых данных обычно характеризуется большим размером входного файла и меньшим размером выходного файла. Точное отношение между этими размерами разнится от эксперимента к эксперименту. Время обработки зависит от сложности алгоритмов реконструкции. Иногда процесс перевода данных из сырого формата в формат с реконструированными данными может разбиваться на несколько этапов. Таким образом можно сначала быстро провести фильтрацию данных, что займет немного времени и значительно сократит размер файла, а после этого провести реконструкцию треков и идентификацию частиц уже на небольшом файле, но в течение длительного времени.

1.3.2 Генерация событий

Первый этап создания набора данных Монте-Карло - это генерация событий. Обычно она делается при помощи специальных программ - генераторов. Для генерации данных столкновений тяжёлых ионов используются такие генераторы как UrQMD, PHQMD, PHSD, smash, vhhle-UrQMD. Это специальные программа для моделирования столкновения частиц. Задав начальные параметры столкновений можно получить сколь угодно большой набор искусственных данных.

В результате генерации получаются файлы, в которых записаны сгенерированные события: список частиц получившихся после столкновения, их энергии и импульсы. Размер файлов небольшой и обычно измеряется мегабайтами. Сам процесс генерации зачастую не требует большого количества вычислительных ресурсов и может быть проведён на локальном вычислительном кластере, либо даже на персональном компьютере. Но, если по какой-то причине генерация требует значительных вычислительных ресурсов (например с генератором PHQMD), то она может быть проведена и на распределенной инфраструктуре.

1.3.3 Симуляция прохождения частиц через детектор

Симуляция прохождения частиц через детектор является вторым этапом получения набора данных Монте-Карло. Основная задача этого этапа рассчитать и сохранить информацию о том, какой отклик вызовут в детекторе события сгенерированные на предыдущем этапе. В процессе симуляции нужно учитывать магнитное поле в детекторе, материал детектора, возможное взаимодействие с веществом детектора, в результате которого могут образоваться вторичные частицы, а также реакцию электроники на пролетающие через детектор события. Все эти рассчёты требуют значительных вычислительных ресурсов, поэтому для задач симуляции характерна большая длительность выполнения и значительное потребление оперативной памяти. Помимо этого, в

результате работы задач симуляции появляются файлы большего размера, которые могут достигать размеров в десятки гигабайт.

Описанные особенности задач симуляции приводят к тому, что для их выполнения требуется задействовать большое количество вычислительных ресурсов, учитывать потребление оперативной памяти и использование локального диска. Большой размер файлов полученных в результате симуляции приводит к тому, что их становится непрактично хранить на системах хранения. Вместо этого в рамках задач симуляции сразу проводится и реконструкция.

1.3.4 Реконструкция данных Монте-Карло

Процесс реконструкции данных полученных на этапе симуляции в целом похож на процесс реконструкции сырых данных. Основное отличие заключается в том, что при потере данных полученных на этом этапе их можно восстановить не только из резервной копии, но и повторным проведением симуляции и реконструкции. А так как объём данных полученных в процессе генерации сравнительно небольшой, для них проще сделать резервную копию. Решение о политике создания резервных копий данных Монте-Карло принимается каждым экспериментом индивидуально, в зависимости от количества доступных ресурсов хранения и вычислительных ресурсов.

1.3.5 Анализ данных полученных методом Монте-Карло и данных

полученных в эксперименте

Задачи анализа реконструированных данных - это финальный этап обработки данных. Именно после этого этапа можно говорить о научных результатах работы эксперимента. Чаще всего задача анализа состоит из двух этапов. Первый этап - это выбор необходимых данных либо из всего набора, либо из подмножества существующих данных. Второй этап - статистический анализ полученных данных. В зависимости от целей анализа он может проводиться с использованием распределённой инфраструктуры, локального кластера,

Список литературы диссертационного исследования кандидат наук Пелеванюк Игорь Станиславович, 2025 год

Список литературы

1. Kapishin M. Studies of baryonic matter at the BM@N experiment (JINR) // Nuclear Physics A. — 2019. — Vol. 982. — P. 967—970. — URL: https: //www.sciencedirect.com/science/article/pii/S0375947418301337.

2. MPD Collaboration. Status and initial physics performance studies of the MPD experiment at NICA // The European Physical Journal A. — 2022. — July. — Vol. 58, no. 7. — URL: http://dx.doi.org/10.1140/epja/s10050-022-00750-6.

3. SPD Collaboration. Technical Design Report of the Spin Physics Detector at NICA // Natural Science Review. — 2024. — Dec. — No. 1. — P. 1. — URL: https://nsr-jinr.ru/index.php/nsr/article/view/35.

4. MPD Collaboration. MPD Data Acquisition System Technical Design Report. — 2018. —URL: https://mpd.jinr.ru/wp-content/uploads/2023/ 11/MPD_DAQ_TDR-2018-8.pdf. online.

5. Tsaregorodtsev A. DIRAC Distributed Computing Services // Journal of Physics: Conference Series. — 2014. — June. — Vol. 513, no. 3. — P. 032096. — URL: https://dx.doi.org/10.1088/1742-6596/513/3/032096.

6. LHC computing Grid. Technical design report. — 2005. — June.

7. LSST: From Science Drivers to Reference Design and Anticipated Data Products / Z. Ivezic [et al.] // The Astrophysical Journal. — 2019. — Mar. — Vol.873, no. 2. — P. 111. — URL: http://dx.doi.org/10.3847/1538-4357/ab042c.

8. Kryukov A. P., Demichev A. P. Architecture of Distributed Data Storage for Astroparticle Physics // Lobachevskii Journal of Mathematics. — 2018. — Nov. — Vol. 39, no. 9. — P. 1199—1206. — URL: http://dx.doi.org/10.1134/ S1995080218090123.

9. ELIXIR-EXCELERATE: establishing Europe's data infrastructure for the life science research of the future / J. Harrow [et al.] // The EMBO Journal. — 2021. — Feb. — Vol. 40, no. 6. — URL: http://dx.doi.org/10.15252/embj. 2020107409.

10. Big Data in Biology and Medicine / O. P. Trifonova [et al.] // Acta Naturae. — 2013. — July. — Vol. 5, no. 3. — P. 13—16.

11. Kekelidze V. NICA project at JINR: status and prospects // Journal of Instrumentation. — 2017. — June. — Vol. 12, no. 06. — P. C06012—C06012. — URL: http://dx.doi.org/10.1088/1748-0221/12/06/C06012.

12. Computing Software Architecture for the BM@N Experiment / K. Gertsen-berger [et al.] // Phys. Part. Nucl. — 2024. — Vol. 55, no. 3. — P. 338—342. — URL: https://doi.org/10.1134/S1063779624030407.

13. Boccali T. Computing models in high energy physics // Reviews in Physics. — 2019. — Vol.4. — P. 100034. — URL: https://www.sciencedirect.com/ science/article/pii/S2405428319300449.

14. The ATLAS Event Index: The Architecture of the Core Engine / D. Barberis [et al.] // Journal of Physics: Conference Series. —2018. —Sept. — Vol. 1085, no. 4. — P. 042024. — URL: https://dx.doi.org/10.1088/1742-6596/1085/4Z 042024.

15. The ATLAS EventIndex: A BigData Catalogue for All ATLAS Experiment Events / D. Barberis [et al.] // Computing and Software for Big Science. — 2023. — Mar.— Vol. 7, no. 1. — URL: http://dx.doi.org/10.1007/s41781-023-00096-8.

16. Collaboration A. Observation of a new particle in the search for the Standard Model Higgs boson with the ATLAS detector at the LHC // Physics Letters B. — 2012. — Vol. 716, no. 1. — P. 1—29. — URL: https://www. sciencedirect.com/science/article/pii/S037026931200857X.

17. Collaboration C. Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC // Physics Letters B. — 2012. — Vol. 716, no. 1. —P. 30—61. —URL: https://www.sciencedirect.com/science/article/ pii/S0370269312008581.

18. Heuer R. Latest update in the search for the Higgs boson. Conclusion. — 2012. —URL: https://indico.cern.ch/event/197461/#2-conclusion. University Lecture.

19. Smarr L. Toward the 21st century // Commun. ACM. — New York, NY, USA, 1997. — Nov. — Vol. 40, no. 11. — P. 28—32. — URL: https: //doi.org/10.1145/265684.265689.

20. Коваленко В., Корягин Д. Грид: истоки, принципы и перспективы развития // Информационные технологии и вычислительные системы. — 2008. — № 4. — С. 38—50.

21. The grid: blueprint for a new computing infrastructure / ed. by I. Foster, C. Kesselman. — San Francisco, CA, USA : Morgan Kaufmann Publishers Inc., 1998.

22. Foster I., Kesselman C, Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // The International Journal of High Performance Computing Applications. — 2001. — Vol. 15, no. 3. — P. 200—222. — eprint: https://doi.org/ 10.1177/ 109434200101500302. — URL: https: //doi.org/10.1177/109434200101500302.

23. Keahey K., Doering K., Foster I. From sandbox to playground: dynamic virtual environments in the grid // Fifth IEEE/ACM International Workshop on Grid Computing. — 2004. — P. 34—42.

24. Application experiences with the Globus toolkit / S. Brunett [et al.] // Proceedings. The Seventh International Symposium on High Performance Distributed Computing (Cat. No.98TB100244). — 1998. — P. 81—88.

25. Middleware for the next generation Grid infrastructure / E. Laure [et al.] // 14th International Conference on Computing in High-Energy and Nuclear Physics. — 2005. — P. 826—829.

26. Programming the Grid with gLite* / E. Laure [et al.]. — 2006. — URL: http://www.cmst.eu/articles/programming-the-grid-with-glite.

27. DIRAC - the distributed MC production and analysis for LHCb / A. Tsare-gorodtsev [et al.] // 14th International Conference on Computing in High-Energy and Nuclear Physics. — 2005. — P. 928—932.

28. DIRAC: a community grid solution / A. Tsaregorodtsev [et al.] // Journal of Physics: Conference Series. — 2008. — July. — Vol. 119, no. 6. — P. 062048. — URL: https://dx.doi.org/10.1088/1742-6596/119/6/062048.

29. Belle-DIRAC Setup for Using Amazon Elastic Compute Cloud: Providing Homogeneous Access to Heterogeneous Computing Resources / R. Graciani Diaz [et al.] // Journal of Grid Computing. — 2011. — Jan. — Vol. 9, no. 1. — P. 65—79. — URL: http://dx.doi.org/10.1007/s10723-010-9175-7.

30. ILCDIRAC, a DIRAC extension for the Linear Collider community / C. Grefe [et al.] // Journal of Physics: Conference Series. —2014. —June. —Vol.513, no. 3. — P. 032077. — URL: https://dx.doi.org/10.1088/1742-6596/513/3/ 032077.

31. Design and Operation of the BES-III Distributed Computing System / S. Belov [et al.] // Procedia Computer Science. — 2015. —Vol. 66. — P. 619—624. — URL: http://dx.doi.org/10.1016Zj.procs.2015.11.070.

32. Multi-VO support in IHEP's distributed computing environment / T. Yan [et al.] // Journal of Physics: Conference Series. — 2015. — Dec. — Vol. 664, no. 6. — P. 062068. — URL: http://dx.doi.org/10.1088/1742-6596/664/6/ 062068.

33. Instance nationale et multi-communauté de DIRAC pour France Grilles / L. Arrabito [et al.] // journées scientifiques mésocentres et France Grilles 2012. — Paris, France, 10/2012. — URL: https://hal.science/hal-00766084.

34. DIRAC in Large Particle Physics Experiments / F. Stagni [et al.] // Journal of Physics: Conference Series. — 2017. — Oct. — Vol. 898, no. 9. — P. 092020. — URL: https://dx.doi.org/10.1088/1742-6596/898/9/092020.

35. DIRAC consortium. DIRAC project github page. — URL: https://github. com/DIRACGrid.

36. DIRAC current, upcoming and planned capabilities and technologies / F. Stagni [et al.] // EPJ Web of Conferences / ed. by R. De Vita [et al.]. — 2024. — Vol. 295. — P. 04018. — URL: http://dx.doi.org/10.1051/epjconf/ 202429504018.

37. PanDA: Production and Distributed Analysis System / T. Maeno [et al.] // Computing and Software for Big Science. — 2024. — Jan. — Vol. 8, no. 1. — URL: http://dx.doi.org/10.1007/s41781-024-00114-3.

38. Rucio: Scientific Data Management / M. Barisits [et al.] // Computing and Software for Big Science. — 2019. — Aug. — Vol. 3, no. 1. — URL: http: //dx.doi.org/10.1007/s41781-019-0026-3.

39. CRIC: Computing Resource Information Catalogue as a unified topology system for a large scale, heterogeneous and dynamic computing infrastructure / A. Anisenkov [et al.] // EPJ Web of Conferences / ed. by C. Doglioni [et al.]. — 2020. — Vol. 245. — P. 03032. — URL: http://dx.doi.org/10.1051/epjconf/ 202024503032.

40. BigPanDA: PanDA Workload Management System and its Applications beyond ATLAS / P. Svirin [et al.] // EPJ Web of Conferences / ed. by A. Forti [et al.]. — 2019. — Vol. 214. — P. 03050. — URL: http://dx.doi.org/10. 1051/epjconf/201921403050.

41. JAliEn - A new interface between the AliEn jobs and the central services / A. G. Grigoras [et al.] // Journal of Physics: Conference Series. — 2014. — June. — Vol. 523. — P. 012010. — URL: http://dx.doi.org/10.1088/1742-6596/523/1/012010.

42. Sfiligoi I. glideinWMS—a generic pilot-based workload management system // Journal of Physics: Conference Series. — 2008. — July. —Vol. 119, no. 6. — P. 062044. — URL: http://dx.doi.org/10.1088/1742-6596/119/6/062044.

43. The Evolution of the Pegasus Workflow Management Software / E. Deelman [et al.] // Computing in Science and Engineering. — 2019. — July. — Vol. 21, no. 4. —P. 22—36. —URL: http://dx.doi.org/10.1109/MCSE.2019.2919690.

44. Harvester: an edge service harvesting heterogeneous resources for ATLAS / T. Maeno [et al.] // EPJ Web of Conferences / ed. by A. Forti [et al.]. — 2019. — Vol. 214. — P. 03030. — URL: http://dx.doi.org/10.1051/epjconf/ 201921403030.

45. The Rucio File Catalog in DIRAC implemented for Belle II / C. Serfon [et al.] // EPJ Web of Conferences / ed. by C. Biscarat [et al.]. — 2021. — Vol.251. — P. 02026. — URL: http://dx.doi.org/10.1051/epjconf/ 202125102026.

46. Hayasaka K., Belle II Computing Group for the. Monitoring system for the Belle II distributed computing // Journal of Physics: Conference Series. — 2015. — Dec. — Vol. 664, no. 6. — P. 062020. — URL: https://dx.doi.org/ 10.1088/1742-6596/664/6/062020.

47. BES-III distributed computing status / S. D. Belov [et al.] // Physics of Particles and Nuclei Letters. — 2016. — Sept. — Vol. 13, no. 5. — P. 700—703. — URL: http://dx.doi.org/10.1134/S1547477116050113.

48. Integration of Rucio Metadata in Belle II / Serfon, Cedric [et al.] // EPJ Web ofConf. — 2024. — Vol. 295. — P. 01025. — URL: https://doi.org/10.1051/ epjconf/202429501025.

49. The DIRAC Data Management System and the Gaudi dataset federation / C. Haen [et al.] // Journal of Physics: Conference Series. — 2015. — Dec. — Vol. 664, no. 4. — P. 042025. — URL: https://dx.doi.org/10.1088/1742-6596/664/4/042025.

50. JINR Grid Infrastructure: Status and Plans / A. Baginyan [et al.] // Physics of Particles and Nuclei. — 2024. — June. — Vol. 55, no. 3. — P. 355—359. — URL: http://dx.doi.org/10.1134/S1063779624030079.

51. Список 50ти наиболее мощных компьютеров России. — Accessed: 2025-02-27. https://top50.supercomputers.ru/archive/2023/03.

52. Report on on preliminary results of the implemintation of the Agreement between the Government of the Russian Federation and the international intergovernmental research organization Joint Institute for Nuclear Research on the construction and operation of a complex of superconducting rings on colliding beams of heavy ions NICA (NICA complex) as of 01/01/2020. — Accessed: 2025-02-27. https://nica.jinr.ru/documents/Rep_NICA_2019_eng_0K.pdf.

53. Официальный сайт кластера NICA. — Accessed: 2025-02-27. https://webncx. jinr.ru/about/.

54. Changes and Challenges at the JINR and Its Member States Cloud Infrastructures / N. Balashov [et al.] // Physics of Particles and Nuclei. — 2024. — June. — Vol. 55, no. 3. — P. 366—370. — URL: http://dx.doi.org/10.1134/ S1063779624030092.

55. Peters A., Sindrilaru E., Adde G. EOS as the present and future solution for data storage at CERN // Journal of Physics: Conference Series. — 2015. — Dec. — Vol. 664, no. 4. — P. 042042. — URL: http://dx.doi.org/10.1088/ 1742-6596/664/4/042042.

56. A distributed storage system with dCache / G. Behrmann [et al.] // Journal of Physics: Conference Series. — 2008. — July. — Vol. 119, no. 6. — P. 062014. — URL: https://dx.doi.org/10.1088/1742-6596/119/6/062014.

57. Fermilab's multi-petabyte scalable mass storage system / G. Oleynik [et al.] // 22nd IEEE / 13th NASA Goddard Conference on Mass Storage Systems and Technologies (MSST'05). — 2005. — P. 73—80.

58. CERN Tape Archive — from development to production deployment / M. C. Davis [et al.] // EPJ Web of Conferences / ed. by A. Forti [et al.]. — 2019. — Vol. 214. — P. 04015. — URL: http://dx.doi.org/10.1051/epjconf/ 201921404015.

59. JINR member states cloud infrastructure / N. Balashov [et al.] // CEUR Workshop Proceedings. — 2017. — Vol. 2023. — P. 202—206.

60. JINR Cloud Infrastructure / V. Korenkov [et al.] // Procedia Computer Science. — 2015. — Vol.66. — P. 574—583. — URL: https://www. sciencedirect.com/science/article/pii/S1877050915034146.

61. Open cloud computing interface-HTTP protocol / O. Edmonds [et al.] //. — Technical report. In The Open Grid Forum Document Series. 2013.

62. The rOCCI project-providing cloud interoperability with OCCI 1.1 / B. Paräk [et al.] // International Symposium on Grids and Clouds (ISGC). Vol. 23. — 2014.

63. Модуль OpenNebulaEndpoint в оффициальном репозитории DIRAC. — Accessed: 2025-02-27. https: / / github. com / DIRACGrid / VMDIRAC / blob / integration/VMDIRAC/Resources/Cloud/OpenNebulaEndpoint.py.

64. Модуль OCCIEndpoint в оффициальном репозитории DIRAC. — Accessed: 2025-02-27. https://github.com/DIRACGrid/VMDIRAC/blob/integration/ VMDIRAC/Resources/Cloud/OcciEndpoint.py.

65. Distributed information and computing infrastructure of JINR member states' organizations / N. A. Balashov [et al.] // PROCEEDINGS OF THE 24TH INTERNATIONAL SCIENTIFIC CONFERENCE OF YOUNG SCIENTISTS AND SPECIALISTS (AYSS-2020). Vol. 2377. — AIP Publishing, 2021. — P. 040001. — URL: http://dx.doi.org/10.1063/5.0063809.

66. Joint Institute for Nuclear Research team statistics. — Accessed: 2025-02-27. https://stats.foldingathome.org/team/265602.

67. SARS-CoV-2 Simulations Go Exascale to Capture Spike Opening and Reveal Cryptic Pockets Across the Proteome / M. I. Zimmerman [et al.] // bioRxiv. — 2020. — eprint: https://www.biorxiv.org/content/early/2020/10/07/2020.06. 27.175430.full.pdf. — URL: https://www.biorxiv.org/content/early/2020/ 10/07/2020.06.27.175430.

68. SARS-CoV-2 Nsp16 activation mechanism and a cryptic pocket with pan-coro-navirus antiviral potential / N. Vithani [et al.] // bioRxiv. — 2020. — eprint: https://www.biorxiv.org/content/early/2020/12/10/2020.12.10.420109.full. pdf. — URL: https://www.biorxiv.org/content/early/2020/12/10/2020.12. 10.420109.

69. The SARS-CoV-2 nucleocapsid protein is dynamic, disordered, and phase separates with RNA / J. Cubuk [et al.] // bioRxiv. — 2020. — eprint: https: //www.biorxiv.org/content/early/2020/12/21/2020.06.17.158121.full.pdf. — URL: https://www.biorxiv.org/content/early/2020/12/21/2020.06.17.158121.

70. COVID Moonshot: Open Science Discovery of SARS-CoV-2 Main Protease Inhibitors by Combining Crowdsourcing, High-Throughput Experiments, Computational Simulations, and Machine Learning / T. C. M. Consortium [et al.] // bioRxiv. — 2020. —eprint: https://www.biorxiv.org/content/early/2020/ 10/30/2020.10.29.339317.full.pdf. — URL: https://www.biorxiv.org/content/ early/2020/10/30/2020.10.29.339317.

71. XROOTD-A Highly scalable architecture for data access / A. Dorigo [et al.] // WSEAS Transactions on Computers. — 2005. — Vol. 1, no. 4.3. — P. 348—353.

72. Towards an HTTP Ecosystem for HEP Data Access / F. Furano [et al.] // Journal of Physics: Conference Series. — 2014. — June. —Vol. 513, no. 3. — P. 032034. — URL: http://dx.doi.org/10.1088/1742-6596/513/3/032034.

73. Job monitoring on the WLCG scope: Current status and new strategy / J. Andreeva [et al.] // Journal of Physics: Conference Series. — 2010. — Apr. — Vol. 219, no. 6. — P. 062002. — URL: http://dx.doi.org/10.1088/1742-6596/219/6/062002.

74. Real Time Monitor of Grid job executions / D. J. Colling [et al.] // Journal of Physics: Conference Series. — 2010. — Apr. — Vol. 219, no. 6. — P. 062020. — URL: http://dx.doi.org/10.1088/1742-6596/219/6/062020.

75. Grafana Official website. —Accessed: 2025-02-27. https://grafana.com/.

76. Naqvi S. N. Z, Yfantidou S., Zimányi E. Time series databases and in-fluxdb // Studienarbeit, Université Libre de Bruxelles. — 2017. —Vol. 12. — P. 1—44.

77. Petrosyan A. S. The New Use of Network Element in ATLAS Workload Management System // Computer Research and Modeling. — 2015. — Dec. — Vol. 7, no. 6. — P. 1343—1349. — URL: http://dx.doi.org/10.20537/2076-7633-2015-7-6-1343-1349.

78. Providing global WLCG transfer monitoring / J. Andreeva [et al.] // Journal of Physics: Conference Series. — 2012. — Dec. — Vol. 396, no. 3. — P. 032005. — URL: http://dx.doi.org/10.1088/1742-6596/396/3/032005.

79. A comparison of HEP code with SPEC1 benchmarks on multi-core worker nodes / M. Michelotto [et al.] // Journal of Physics: Conference Series. — 2010. — Apr. — Vol. 219, no. 5. — P. 052009. — URL: https://dx.doi.org/ 10.1088/1742-6596/219/5/052009.

80. Charpentier P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06 // Journal of Physics: Conference Series. — 2017. — Oct.— Vol. 898. — P. 082011. — URL: http://dx.doi.org/10.1088/1742-6596/898/8/082011.

81. Brady P., Losurdo G, Shinkai H. LIGO, VIRGO, and KAGRA as the international gravitational wave network // Handbook of gravitational wave astronomy. — Springer, 2022. — P. 1—21.

82. HEPScore: A new CPU benchmark for the WLCG / D. Giordano [et al.] // EPJ Web of Conferences / ed. by R. De Vita [et al.]. — 2024. — Vol. 295. — P. 07024. — URL: http://dx.doi.org/10.1051/epjconf/202429507024.

83. ROOT — A C++ framework for petabyte data storage, statistical analysis and visualization / I. Antcheva [et al.] // Computer Physics Communications. — 2009. — Dec. — Vol. 180, no. 12. — P. 2499—2512. — URL: http://dx.doi. org/10.1016/j.cpc.2009.08.005.

84. Kryukov A., Nguyen M.-D. A Distributed Storage for Astroparticle Physics // EPJ Web of Conferences / ed. by C. Spiering. — 2019. — Vol. 207. — P. 08003. — URL: http://dx.doi.org/10.1051/epjconf/201920708003.

85. Kiryanov A., Ayllon A. A., Keeble O. FTS3 / WebFTS - A Powerful File Transfer Service for Scientific Communities // Procedia Computer Science. — 2015. — Vol. 66. — P. 670—678. — URL: http://dx.doi.org/10.1016/j.procs. 2015.11.076.

86. The BmnRoot framework for experimental data processing in the BM@ N experiment at NICA / P. Batyuk [et al.] // EPJ web of conferences. Vol. 214. — EDP Sciences. 2019. — P. 05027.

87. Pelevanyuk I., Tsaregorodtsev A. DIRAC Interware as a Service for High--Thoughput Computing in JINR // Physics of Particles and Nuclei Letters. — 2022. — Oct. — Vol. 19, no. 5. — P. 580—582. — URL: https://doi.org/10. 1134/S1547477122050338.

88. Korenkov V., Pelevanyuk I., Tsaregorodtsev A. DIRAC at JINR as a general purpose system for massive computations // Journal of Physics: Conference Series. — 2023. — Feb. — Vol. 2438, no. 1. — P. 012—029. — URL: https://dx.doi.org/10.1088/1742-6596/2438/V012029.

89. Integration of Distributed Heterogeneous Computing Resources for the MPD Experiment with DIRAC Interware / N. Kutovskiy [et al.] // Physics of Particles and Nuclei. — 2021. — July. — Vol. 52, no. 4. — P. 835—841. — URL: http://dx.doi.org/10.1134/S1063779621040419.

90. Moshkin A., Pelevanyuk I., Rogachevskiy O. Design and Development of Application Software for the MPD Distributed Computing Infrastructure // CEUR Workshop Proceedings. — 2021. — Dec. — P. 321—325. — (GRID2021). — URL: http://dx.doi.org/10.54546/MLIT.2021.76.62.001.

91. Computing Software Architecture for the BM@N Experiment / K. Gertsen-berger [et al.] // Phys. Part. Nucl. — 2024. — Vol. 55, no. 3. — P. 338—342. — URL: https://doi.org/10.1134/S1063779624030407.

92. Gertsenberger K. V., Pelevanyuk I. S. BM@N Run 8 Data Processing on a Distributed Infrastructure with DIRAC // Physics of Particles and Nuclei Letters. — 2024. — Aug. — Vol. 21, no. 4. — P. 778—781. — URL: https://doi.org/10.1134/S1547477124701334.

93. Baikal-GVD Experiment / A. V. Avrorin [et al.] // Physics of Atomic Nuclei. — 2020. — Nov. — Vol. 83, no. 6. — P. 916—921. — URL: http: //dx.doi.org/10.1134/S1063778820060046.

94. Kutovskiy N., Pelevanyuk I., Zaborov D. Using Distributed Clouds for Scientific Computing // CEUR Workshop Proceedings. — 2021. — Dec. — P. 196—201. — (GRID2021). — URL: http://dx.doi.org/10.54546/MLIT. 2021.78.51.001.

Список рисунков

1.1 Типичная схема получения, обработки и анализа данных в

экспериментах физики высоких энергий..................................14

2.1 Схема работы компонентов DIRAC ......................................31

2.2 Схема взаимодействия подсистем DIRAC................................34

2.3 Схема работы разработанных модулей ..................................48

3.1 Общий вид JobMonitor......................................................55

3.2 Общий вид Accounting......................................................55

3.3 Общий вид информационной панели системы мониторинга пользовательских задач....................................................59

3.4 Архитектура системы мониторинга выполнения пользовательских задач ........................................................................60

3.5 Архитектура системы мониторинга передач данных....................63

3.6 Общий вид информационной панели системы мониторинга передач данных ......................................................................64

3.7 Пример предложенной визуализации на основе точечного графика . 68

3.8 Архитектура системы анализа выполнения больших пакетов задач . 69

3.9 Пример результатов визуализации данных из системы анализа выполнения больших пакетов задач ......................................70

3.10 Задачи выполненные с помощью процессоров AMD (1), обычных узлов суперкомпьютера Говорун (2), и узлов использующих технологию Intel Optane (3)................................................71

3.11 Схема работы комплекса разработанных систем........................75

4.1 Пример работы прикладного программного обеспечения..............76

4.2 Скорость передачи данных и количество работающих задач..........80

4.3 Схема запуска пакетов задач..............................................85

4.4 Схема перехода данных из формата RAW в формат DST..............90

4.5 Работа задачи перевода данных из формата RAW в формат DIGI. . 91

4.6 Скорость передачи данных между вычислительными ресурсами и системой хранения EOS при выполнении задач RawToDigi. Кластер NICA - оранжевый, Tier! - голубой......................................93

4.7 Задачи RawToDigi на Tieri (тёмно фиолетовый), кластере NICA (розовый) и суперкомпьютере Говорун (синий)............. 94

4.8 Пример задачи RawToDigi выполненной на медленном вычислительном узле Tieri........................ 95

4.9 Работа задачи перевода данных из формата DIGI в формат DST. . . 96

4.10 Задачи DigiToDst на Tieri (зелёный), Tier2 (синий) и кластере DDC (голубой)................................... 97

4.11 Веб-интерфейс приложения для запуска генерации данных эксперимента MPD............................. 99

В.1 Общий вид информационной панели системы мониторинга

пользовательских задач..........................123

В.2 Общий вид информационной панели системы мониторинга передач

данных...................................124

В.3 Пример результатов визуализации данных из системы анализа

выполнения больших пакетов задач...................125

Список таблиц

2.1 Виртуальные машины на которых работали компоненты ЭЖАС . . 37

2.2 Производительность сегментов суперкомпьютера Говорун на тесте Ыпрак (ТИор/в, двойная точность)[51]....................................39

2.3 Сводная таблица вычислительных ресурсов доступных для интеграции....................................................................41

4.1 Общая схема передачи в зависимости от используемых путей .... 87

4.2 Сводная статистика по выполненным задачам (на 01.04.2025) .... 101

4.3 Сводная статистика по данным экспериментов (на 01.04.2025) .... 101

Приложение А

Список основных компонентов, входящих в платформу DIRAC

Агенты:

1. Configuration/Voms2CSAgent - для добавления пользователей виртуальных организаций из системы VOMS.

2. DataManagement/FTS3Agent - для управления передачами файлов с помощью системы FTS3.

3. RequestManagement/RequestExecutingAgent - для выполнения запросов на передачи данных.

4. WorkloadManagement/SiteDirector - по одному агенту для BM@N, MPD и SPD. Для отправки пилотов.

5. WorkloadManagement/PilotStatusAgent - для отслеживания работы пилотов.

6. WorkloadManagement/StalledJobAgent - для оперативного прекращения выполнения зависших пользовательских задач.

Сервисы:

1. Framework/SystemAdministrator - сервис, управляющий инсталляцией DIRAC и позволяющий устанавливать разные её компоненты.

2. Configuration/Server - сервис конфигурации. Предоставляет доступ к конфигурации всем другим компонентам.

3. DataManagement/FileCatalog - даёт доступ к файловому каталогу.

4. DataManagement/StorageElement - предоставление доступа к локальной системе хранения DIRAC, используется для тестовых целей.

5. RequestManagement/ReqManager - предоставляет доступ к системе автоматизации передач данных.

6. WorkloadManagement/PilotManager - предоставляет доступ к данным о работе пилотов, позволяет управлять ими.

7. WorkloadManagement/JobManager - регистрирует новые пользовательские задачи, позволяет их удалять.

8. WorkloadManagement/JobMonitoring - получает данные о состоянии очереди задач.

9. WorkloadMaпagemeпt/WMSAdmiпistrator - для управления доступом к вычислительным ресурсам.

10. WorkloadManagement/Matcher - осуществляет выбор пользовательских задач для конкретных пилотов совмещая критерии описанные в пользовательских задачах и данные, полученные от пилотов.

11. WebApp/WebApp - сервис предоставляющий доступ к веб-интерфейсу системы ОШАС. Данный сервис частично дублирует функционал интерфейса командной строки ЭШАС активно взаимодействуя с большинством установленных сервисов.

12. Transformation/TransformationManager - позволяет автоматизировать запуск задач при наступлении разных событий: выполнение команды или появление определённых файлов.

13. Accounting/DataStore - сохраняет данные для учёта потреблённых ресурсов.

14. Framework/ProxyManager - для управления прокси сертификатами пользователей.

15. Framework/CompoпeпtMoпitoriпg - для определения статуса работы компонентов В1НЛС.

Базы данных:

1. AccountingDB - хранит данные учёта потреблённых ресурсов.

2. FileCatalogDB - хранит данные файлового каталога.

3. InstalledComponentsDB - хранит информацию об установленных компонентах DIRAC.

4. JobDB - хранит информацию об очереди задач.

5. JobLoggingDB - хранит информацию об истории изменения статусов пользовательских задач.

6. PilotAgentsDB - хранит информацию об ожидающих, работающих и завершивших работу пилотах.

7. ProxyDB - хранит информацию о прокси сертификатах пользователей.

8. ReqDB - хранит информацию о запросах на массовую автоматическую передачу данных.

9. TraпsformatioпDB - хранит информацию об условиях для автоматического запуска задач.

Приложение Б Пример исполняемого файла задачи

10

15

20

25

30

#!/bin/sh

RESULT_UPL0AD_ERR0R=101

# Commands for saving DIRAC environment save_dirac_env() {

dpythonpath=$PYTH0NPATH dpath=$PATH

dldlibrarypath = $LD_LIBRARY_PATH dpythonhome=$PYTH0NH0ME

}

load_dirac_env() {

PYTH0NPATH = $dpythonpath PATH = $dpath

LD_LIBRARY_PATH = $dldlibrarypath PYTH0NH0ME = $dpythonhome

}

save_dirac_env

# Get parameters for the job INPUT_LFN = $ 1 0UTPUT_LFN=$2 0UTPUT_SE=$3

# Get input file

./jinr-get-file $INPUT_LFN > transfer_log.txt 2>&1 INPUT_FILE=$(basename $INPUT_LFN)

# Insert here your processing commands . Example:

# root -b -q -l "/cvmfs/.../processing.C(

# \ " $INPUT_ FILE \ " ,

# \ 11 output . file \ 11) 11 > processing.log 2>&1

# Upload result load_dirac_env

if ! ./jinr-add-file -f $ 0UTPUT_LFN output.file $0UTPUT_SE; then exit $RESULT_UPL0AD_ERR0R

fi

5

Приложение В Общий вид информационных панелей

ьо оо

Рисунок В.1 — Общий вид информационной панели системы мониторинга пользовательских задач

ьо

Рисунок В.2 — Общий вид информационной панели системы мониторинга передач данных

ьо

СЛ

Рисунок В.3 — Пример результатов визуализации данных из системы анализа выполнения больших пакетов задач