Методика и программное обеспечение для подключения суперкомпьютеров к распределенной системе обработки данных эксперимента ATLAS тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Олейник Данила Анатольевич

• Олейник Данила Анатольевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Олейник Данила Анатольевич

Глава

2

3. 1 Использование суперкомпьютера Titan для задач эксперимента ATLAS

3.2 Повышение эффективности использования суперкомпьютера Titan

3.3 Эволюция распределенных вычислительных систем: гетерогенные распределенные вычислительные системы

3.4 Рекомендации по выполнению грид ориентированных задач на суперкомпьютерах

3.5 Заключение к Главе 3 76 Заключение 78 Список публикации 80 Список литературы 83 Приложение 1 93 Приложение

Введение

Введение диссертации (часть автореферата) на тему «Методика и программное обеспечение для подключения суперкомпьютеров к распределенной системе обработки данных эксперимента ATLAS»

Актуальность исследования

Распределённые вычислительные системы [1,2] являются базовой инфраструктурой для обработки данных современных крупных научных исследований. Толчком в развитии и применении данных систем стали эксперименты на Большом адронном коллайдере (БАК)[3]. Каждый из таких экспериментов представляет собой не только уникальную физическую установку, но и коллаборацию учёных и специалистов из многих стран мира. Экспериментальные установки БАК производят петабайты данных, для обработки и анализа которых была выбрана высокопропускная парадигма. Высокопропускной вычислительной системой называется объединение вычислительных ресурсов (узлов) на длительное время для одновременного выполнения большого количества независимых вычислительных задач [4]. Производительность такой системы измеряется не количеством одновременно выполняемых элементарных вычислительных операций, а количеством задач, выполненных за единицу времени. Характерной чертой высокопропускной вычислительной системы является то, что для её построения не требуется абсолютная идентичность используемых вычислительных узлов и нет необходимости обменами данными между задачами в процессе их выполнения. Модель построения таких вычислительных систем, названых грид инфраструктуры, была описана в конце девяностых годов двадцатого века [5]. Высокопропускная парадигма была реализована посредством создания географически распределённой системы обработки данных на вычислительных ресурсах участников коллабораций. Эта система была построена в начале 2000-ых, и является на данный момент, пожалуй, наиболее известной системой типа грид - Worldwide LHC Computing Grid (WLCG) [6].

Эксперимент ATLAS [7] является самым крупным экспериментом на БАК по целому ряду параметров. Это самая крупная экспериментальная установка,

диаметром около 25 метров и длиной 46 метров и весом более 7000 тонн, передаёт сигналы с более чем 150 миллионов датчиков. После многоступенчатой фильтрации поток собранных данных уменьшается с ~1 Пб/сек до ~1 Гб/сек [8,9]. Суммарный годовой объём только собираемых, в течении длительных периодов набора, данных измеряется петабайтами. Научная коллаборация эксперимента ATLAS насчитывает более трёх тысяч участников из 181 научного центра расположенных в 38 странах.

Большинство, участвующих в эксперименте ATLAS, научных центров предоставили собственные вычислительные ресурсы для обработки и анализа экспериментальных данных. Посредством объединения в рамках национальных или кросс-национальных грид систем, данные вычислительные ресурсы были интегрированы в инфраструктуру WLCG (рисунок 1).

Рисунок 1. Инфраструктура Worldwide LHC Computing Grid. 2017 г.

Первоначально, в рамках WLCG, была реализована строго иерархическая модель распределенной инфраструктуры: Models of Networked Analysis at Regional Centres for LHC Experiments (MONARC) [10] продиктованная в большей степени существующими на тот момент технологическими ограничениями каналов связи. Модель предлагала следующую иерархию центров обработки:

• Уровень 0 - Вычислительный центр CERN

• Уровень 1 - Вычислительные центры национального уровня

• Уровень 2 - Вычислительные центры исследовательских центров, университетов

Каждый уровень иерархии был ассоциирован с тем или иным типом обработки, который, в свою очередь, имел зависимость от объемов передаваемых данных. Обработка, требующая интенсивный обмен большим объемом данных осуществлялась на уровнях 0 - 1, а менее требовательная к передаваемым объемам данных обработка предполагалась на уровне 2.

В рамках предлагаемой модели участники коллаборации берут на себя обязательства по объемам предоставляемых вычислительных ресурсов и пропускной способность каналов связи. Ключевой особенностью были жестко установленные взаимосвязи между уровнями, для обеспечения гарантированной скорости передачи. Технологически обоснованная иерархия центров обработки отразилась на первоначальной организации обработки данных эксперимента ATLAS, ограничив типы обработки по уровням:

• Уровень 0 - обработка и переобработка первоначальных данных полученных с экспериментальной установки (реконструкция физически величин по сигналам собранным с детекторов);

• Уровень 1 - переобработка данных полученных с экспериментальной установки, массовое моделирование физических процессов методом

Монте-Карло [11], выполнение задач анализа данных для исследовательских групп;

• Уровень 2 - массовое моделирование физических процессов методом Монте-Карло, выполнение задач анализа данных для исследователей.

Опережающее развитие сетей связи, многократно увеличившее пропускную способность за короткий период времени, сняло технологические ограничения, что позволило отказаться от строгой иерархией уровней инфраструктуры, обеспечив возможность подключения через инфраструктуру WLCG дополнительных, добровольно предоставляемых участниками экспериментов вычислительных ресурсов (рисунок 2). Такие ресурсы, предоставляемые сверх согласованных в договорных рамках, образовали так называемый третий уровень иерархии.

Рисунок 2. Эволюция модели распределенной инфраструктуры для обработки данных

Неограниченная более технологическими рамками иерархия центров обработки данных осталась, но приобрела несколько другое значение: уровни 0-2 это ресурсы предоставляемые для нужд коллаборации, в рамках согласованных обязательств, для постоянного и долговременного хранения и массовой обработки различных типов, уровень 3 - ресурсы участников коллаборации предоставляемые на добровольных началах, ресурсы хранения которых используются для

временного хранения данных на период их обработки. Первоначально, под ресурсами третьего уровня понимали вычислительные фермы, интегрированные в систему обработки данных, посредством подключения к инфраструктуре WLCG. Эволюция распределенной вычислительной инфраструктуры и организации процессов обработки экспериментальных данных ATLAS подробно рассмотрены в докторской диссертационной работе Климентова А.А. "Методы обработки сверхбольших объемов данных в распределенной гетерогенной компьютерной среде для приложений в ядерной физике и физике высоких энергий" (Дубна, 2017

г.)

На 2013 год вычислительная инфраструктура эксперимента ATLAS базировалась на ресурсах доступных через WLCG и насчитывала приблизительно 150 центров обработки данных обеспечивающих ~ 150 тысяч ядер ЦПУ и с объемами хранения порядка 160 петабайт. Для управления выполнением задач в этой инфраструктуре используется, специально разработанная специалистами ATLAS система управления нагрузкой: Production and Distributed Analysis Workload Management System (PanDA WMS) [12].

Несмотря на достаточно высокую производительность построенной инфраструктуры, позволяющей одновременно выполнять десятки тысяч задач и исполнять до нескольких миллионов задач в день, рост ее производительности ограничивается согласованными обязательствами и возможностями участников и в основном происходит за счет технологического развития. Это не всегда удовлетворяет возрастающим потребностям коллабораций (рисунок 3). Ускорительный комплекс и экспериментальные установки постоянно совершенствуются. ЦЕРН, с поддержкой европейской комиссии по физике частиц, осуществляет многолетний план развития, предусматривающий 4 крупных модернизации, сопровождающиеся полной остановкой детекторов и ускорителя. Основной целью модернизации является проведение новых исследований, а результатом увеличение объема получаемых и производимых данных. Это

неотвратимо ведет к увеличению количества задач, необходимых для обработки и анализа экспериментальных данных.

о

т—i—i—i—i—i—i—i—i—i—i—i"

О 100

CD О

ATLAS Preliminary

■ Resource needs

(2017 Computing model)

(Л CD О

О 60

— Flat budget model (+20%/year)

3

о

CO

CD

cn 40

Ü_

О

20

2018 2020 2022 2024 2026 2028

Рисунок 3. Прогнозируемые потребности эксперимента ATLAS в вычислительных ресурсах

Большинство процессов массовой обработки данных в вычислительной инфраструктуре эксперимента ATLAS автоматизированны. Одним из таких процессов является массовое моделирование физических событий методом Монте-Карло [13] под который используется более 50% всех вычислительных ресурсов (рисунок 4).

сопоставимый с прогнозируемым бюджетом [13]

Рисунок 4. Потребление вычислительных ресурсов по разным типам обработки в эксперименте ATLAS c 2013 по 2019 год [15].

Данный тип обработки в ATLAS имеет ряд особенностей, с точки зрения загрузки инфраструктуры :

• Поток задач моделирования имеет достаточно постоянный характер и не зависит от периодов набора данных или активности пользователей;

• Ресурсоёмкий тип обработки с умеренной нагрузкой на систему ввода вывода;

• Задачи этого типа не требуют, в процессе выполнения, непосредственного соединения с какими либо специализированными внешними сервисами, могут эффективно выполняться на изолированных вычислительных узлах.

Эксперимент ATLAS уже после первой модернизации начал рассматривать возможность использования сторонних ресурсов дополнительно к предоставляемым через инфраструктуру WLCG. Такие ресурсы включают в себя: коммерческие и некоммерческие облачные инфраструктуры, волонтерские вычислительные ресурсы, высокопроизводительные вычислительные комплексы -суперкомпьютеры. Данные инфраструктуры не только, очевидно, относятся к

10

третьему уровню, но зачастую, имеют специализированные условия использования, не покрывающиеся протоколами и решениями используемыми в WLCG, вследствие чего называются оппортунистическими. Вычислительную систему, объединяющую в себе разнородные, предоставляемые на согласованных условиях и оппортунистические, ресурсы можно назвать гетерогенной вычислительной системой.

В рамках национальных программ группы ученых, участвующих в экспериментах, начали получать доступ к высокопроизводительным вычислительным системам. Объем таких выделенных ресурсов, как правило, значительный и слишком велик для проведения индивидуального анализа. Такие вычислительные комплексы имеет смысл подключать к системе автоматизированной обработки данных эксперимента и очень желательно делать это на начальном этапе, без существенных изменений в архитектуре системы обработки. Несмотря на некоторую внешнюю схожесть с центрами обработки данных грид, высокопроизводительные вычислительные центры имеют ряд очень существенных отличий начиная с организации доступа и заканчивая архитектурой и политикой использования, ориентированными на единовременное предоставление большого объема вычислительных ресурсов в течении ограниченного времени.

Определенную заинтересованность в совместных исследованиях демонстрировали представители высокопроизводительных вычислительных центров. Поскольку эффективность использования крупных суперкомпьютеров составляет 85-90% от теоретически достижимой загрузки, существенный объем ресурсов, а это сотни миллионов ЦПУ*часов, не используется. Данная неэффективность обусловлена в большей степени политикой предоставления и использования высокопроизводительной вычислительной системы, ориентированной на выполнение крупных задач. Такие задачи имеют повышенный приоритет для выполнения, одновременно количество выполняемых

маленьких задач ограничена настройками локального планировщика. Зачастую, задачи заканчиваю свою работу раньше, чем полностью исчерпано запрошенное время ресурса, и в этот момент нет достаточного количества запросов в очереди, наиболее эффективно заполняющих образовавшуюся брешь. Такие свободные ресурсы, как правило, распределены неравномерно во времени и имеют относительно короткий период доступности (рисунок 5). Методика, позволяющая использовать эти нераспределенные ресурсы, не увеличивая существенно количество запросов, вызывает большой интерес со стороны представителей высокопроизводительных вычислительных центров.

Рисунок.5. Пример распределения времени между задачами на суперкомпьютере Titan [16].

Некоторые крупные центры готовы были предоставлять такие ресурсы на безвозмездной (внеконкурсной) основе. Ряд научных групп, применяющих высокопропускную парадигму для обработки данных и имеющих доступ к суперкомпьютерам, также были готовы были принять участие в таком исследовании.

С 2012 года коллаборация ATLAS в рамках развития собственной распределенной системы обработки данных инициировала ряд научно-исследовательских проектов

направленных на исследование возможности использования высокопроизводительных вычислительных систем - суперкомпьютеров [17].

Цели и задачи

Целью исследования является разработка методики и программного обеспечения для интеграции суперкомпьютеров с распределенной высокопропускной системой обработки данных эксперимента ATLAS.

Основными задачами, которые нужно было решить в рамках исследования, являлись

• Исследование особенностей организации высокопроизводительных вычислительных центров;

• Разработка методики интеграции;

• Создание, на основе уже разработанных компонент, прототипа сервиса обеспечивающего интеграцию и анализ его функционирования;

• Исследование особенностей поведения приложений ориентированных на высокопропускную обработку данных на суперкомпьютерах;

• Разработка методики оптимизации поведения таких прикладных приложений на суперкомпьютерах;

• Исследование возможности увеличения эффективности использования высокопроизводительных систем (суперкомпьютеров);

• Практическое применение проведенных исследований и разработок.

Научная новизна

Предложена методика непосредственного подключения суперкомпьютеров в распределенную систему обработки данных, минуя промежуточное программное обеспечение грид.

Впервые для эксперимента ATLAS реализована методика подключения суперкомпьютеров к распределенной вычислительной системе под управлением

PanDA WMS для высокопропускной обработки данных. Разработанная методика была впервые применена для подключения широкого спектра высокопроизводительных вычислительных систем включая: суперкомпьютеры Titan (OLCF), Theta (ALCF), Cori (NERSC) [18 - 23].

Предложена и реализована методика одновременного выполнения набора независимых приложений для обработки данных на суперкомпьютерах.

Предложен и реализован алгоритм, позволяющий увеличить эффективность использования высокопроизводительных вычислительных систем, ориентированных на выполнение больших параллельных задач (использующих до нескольких тысяч вычислительных узлов), посредством динамической дозагрузки суперкомпьютера малыми задачами под контролем внешней системы управления нагрузки

Научно-практическая значимость работы

В рамках диссертационной работы проведены исследования вычислительных систем не только реализующих различные концепций, с точки зрения организации обработки данных и оценки производительности, но и использующих собственные системы безопасности, аутентификации и авторизации пользователей. Предложена и реализована методика построения распределенных гетерогенных вычислительных инфраструктур. С использованием предложенной методики в распределенную систему обработки данных эксперимента ATLAS на БАК были интегрированы ряд высокопроизводительных вычислительных систем, включая ресурсы Ок-Риджской Национальной Лаборатории [24] (суперкомпьютер Titan). Существенным практическим результатом стала эволюция архитектуры системы управления нагрузкой PanDA, расширенной специализированным сервисом Harvester [25] - ориентированным на эффективное взаимодействие с различного рода вычислительными инфраструктурами.

Расширение спектра используемых вычислительных систем для обработки экспериментальных данных, обеспечило практически беспрерывное выполнение задач ATLAS на суперкомпьютере Titan с 2016 по 2019 год.

Реализованный в программной среде PanDA алгоритм использования свободных, нераспределенных между другими задачами, ресурсов, позволил увеличить эффективность использования суперкомпьютера Titan.

Продемонстрирована возможность использования разработанного ПО для интеграции с высокопроизводительными вычислительными системами использовалась и для других научных групп, кроме эксперимента ATLAS. Благодаря возможности использования высокопроизводительных вычислительных систем, PanDA WMS была выбрана в качестве системы обеспечивающей распределенную обработку данных в эксперименте COMPASS [26]. Предложенные методы и программные решения были использованы специалистами COMPASS для доработки пилотного приложения и компонент Harvester с учетом специфики вычислительных задач этого эксперимента.

Методология и методы исследования

В исследованиях для данной диссертационной работы были использованы методы системного анализа, анализа программного обеспечения и программной инженерии, технологии программирования и организации взаимодействия программ в глобально распределенной среде.

Положения, выносимые на защиту

1. Методика и программное обеспечение, интегрирующее высокопроизводительные вычислительные ресурсы в систему распределенной обработки данных эксперимента ATLAS.

2. Методика и реализация способа выполнения набора независимых задач, генерируемых внешней системой управления нагрузкой, на

суперкомпьютерах на основе технологии MPI [27]. (Методика выполнения набора независимых задач, генерируемых внешней системой управления нагрузкой, и ее реализация на основе технологии MPI.)

S. Алгоритм и программное обеспечение, позволяющее увеличить эффективность высокопроизводительной вычислительной системы, реализованные для суперкомпьютера Titan.

Апробация и степень достоверности

Ход и результаты исследований регулярно докладывались на целом ряде крупных международных конференций в частности:

• Доклады на конференции CHEP (International Conference on Computing in High Energy and Nuclear Physics) c 2015 по 2019 год

• Презентация работы на конференции Supercomputing с 2016 по 2019 год

• Регулярные доклады на рабочих совещаниях ATLAS Distributed Computing с 201S по 2019 год

• Доклад на конференции PASC (The Platform for Advanced Scientific Computing) 2018

Достоверность исследования подтверждается практически проверенной корректностью получаемых вычислительных результатов, работоспособностью и эффективностью использования подключаемых вычислительных инфраструктур -в том числе, успешно проведенной полной интеграцией методики в распределенную систему обработки данных эксперимента ATLAS и подключением суперкомпьютерных центров OLCF, ALCF, NERSC, CSCS [28], Marenostrum [29] к системе распределенной обработки данных ATLAS.

Разработанное программное обеспечение включено в состав стандартных компонент программного инструментария системы управления нагрузкой PanDA WMS.

Публикации и личный вклад

По теме диссертации опубликовано 19 научных работы, 12 из которых опубликованы в рецензируемых изданиях, соответствующих требованиям к публикациям Положения о присуждении ученых степеней в ОИЯИ (пр. ОИЯИ от 30.04.2019 № 320).

Предложенные методики интеграции суперкомпьютеров в высокопропускную распределенную систему обработки данных, оптимизации выполнения не параллельных приложений и увеличения эффективности использования суперкомпьютера были сформулированы при определяющем участии автора. Прототип интегрирующего программного комплекса, разработанного на основе указанных методик, реализован лично автором диссертации.

Соискатель принимал участие в создании и развитии ориентированного на взаимодействие с вычислительными инфраструктурами сервиса Harvester, разработав компоненты для интеграции с ресурсами OLCF (Titan, Summit [30]) и в разработке компонент Pilot 2.0 для работы на рабочих узлах суперкомпьютеров.

Соответствие диссертации паспорту специальности

В диссертационной работе присутствуют результаты в трех областях, соответствующих следующим пунктам паспорта специальности:

3. Модели, методы, алгоритмы, языки и программные инструменты для организации взаимодействия программ и программных систем

8. Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования

9. Модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных

Объем и структура диссертации

Диссертационная работа состоит из введения, трех глав, заключения, списка публикаций, списка цитируемой литературы (85 пунктов). Работа содержит 95 страниц и включает в себя 27 рисунков и 4 таблицы.

Глава 1

К моменту начала первой модернизации Большого адронного коллайдера и экспериментальной установки ATLAS, все более существенным становился вопрос о возможности использования оппортунистических вычислительных ресурсов при увеличивающихся объемах данных. В том числе были поддержаны ряд исследовательских работ направленных на изучение возможностей и особенностей использования высокопроизводительных вычислительных центров и облачных вычислительных инфраструктур. Одной из поддерживаемых работ был проект BigPanDA [31].

1.1 Проект BigPanDA

Проект BigPanDA получил одобрение финансирующим агентством и официально стартовал в 2013 году, при этом существенная часть по формулировке задач проекта и согласовании списка участников была проведена в 2012 году. Основной целью проекта было развитие системы управления нагрузкой PanDA WMS, используемой в системе обработки данных эксперимента ATLAS.

Эксперимент ATLAS использует PanDA для организации массовой обработки данных, начиная с реконструкции и моделирования экспериментальных данных и заканчивая поддержкой выполнения задач пользовательского анализа. Возможность эффективного выполнения широкого спектра приложений в распределенной вычислительной системе заинтересовала и другие группы исследователей из различных научных дисциплин: астрономия, нейтронная физика, теоретическая физика (квантовая хромодинамика на решетках), физика нейтрино.

В рамках проекта было выбрано три направления для развития системы управления нагрузками. Во-первых, сделать PanDA WMS доступной за пределами БАК и ФВЭ. Во-вторых, расширить возможности системы управления нагрузкой для использования оппортунистических вычислительных ресурсов. В-третьих,

интегрировать сетевые сервисы в качестве ресурсов, учитываемых в системе управление нагрузкой. Были определены четыре пакета работ:

• переработка ядра системы: декомпозиция и переработка основных компонент PanDA WMS для обеспечения поддержки широкого круга научных сообществ, нуждающихся в высокопропускной обработке данных;

• расширение области применения: развитие PanDA WMS для поддержки крупных облачных вычислительных инфраструктур и суперкомпьютеров;

• интеллектуальное использование сетей передачи данных: интеграция метрик сетевых сервисов в алгоритмы PanDA WMS для организации доступа к данным в реальном времени;

• Удобство использования и мониторинг: пакет мониторинга PanDA в реальном времени с визуализацией.

Участниками проекта являлись: Брукхейвенская Национальная Лаборатория, Университет Техаса в Арлингтоне, Ок-Риджская национальная лаборатория, университет Ратгерс. Первоначально проект был рассчитан на три года и был активно поддержан ATLAS. По результатам успешного достижения намеченных первоначальных целей проект был продлен и закончился только через 6 лет в 2019 году.

В задачи проекта не входила какая-либо существенная адаптация прикладного программного обеспечения эксперимента. Однако, в то же время, соответствующие разработки, направленные на поддержание многопроцессорности [32], велись в области прикладного программного обеспечения ATLAS.

1.2 Система управления нагрузкой PanDA WMS

Система управления нагрузкой является необходимой компонентой для управления высокопропускной обработкой данных в распределенной вычислительной среде. PanDA (акроним для Production and Distributed Analysis

System) - одна из наиболее успешных систем управления нагрузкой, была разработана в США специалистами Брукхейвенской национальной лаборатории и университета Техаса в Арлингтоне первоначально, для нужд эксперимента ATLAS. Система предоставляет исполнительную среду для широкого спектра прикладных приложений ATLAS, автоматизирует процессы массовой обработки и моделирования данных, обеспечивает возможности анализа данных физическим группам, поддерживает настраиваемые процессы обработки для индивидуальных исследователей, обеспечивает единое представление глобально распределенных ресурсов, посредством интегрированной системы мониторинга отображает текущий статус и историю каждого процесса обработки, хранит и сопровождает все процессы обработки, управляет распределением данных как для нужд обработки, так и для доступа физиков.

PanDA имеет масштабируемую и гибкую архитектуру. Масштабируемость наглядно показана на растущем объеме выполняемых задач в ATLAS (рисунок 6). При проектировании компонент PanDA были заложены возможности гибкой адаптации к новым компьютерным технологиям в области обработки, хранения и передачи данных, а также к базовому программному стеку (промежуточному программному обеспечению и управлению файлами). Эта гибкость была также успешно продемонстрирована с развитием технологий, развернутых в грид центрах обработки данных ATLAS, используемых посредством PanDA WMS.

Список литературы диссертационного исследования кандидат наук Олейник Данила Анатольевич, 2021 год

Список литературы

1. Э. Таненбаум, М. ван Стеен: Распределенные системы. Принципы и парадигмы // - СПб., Питер, 2003, с. 876.

2. В.В. Воеводин, Вл.В. Воеводин: Параллельные вычисления // - СПб., БХВ-Петербург, 2002, с. 608.

3. L. Evans, The Large Hadron Collider // New Journal of Physics - 2007 - vol.9 -doi:10.1088/1367-2630/9/9/335 -URL:https://doi.org/10.1088/1367-2630/9/9/335

4. Sadiku M., Eze K., Musa S., High-Throughput Computing. // International Journal of Trend in Research and Development. - 2018 - Volume 5 - Issue 4 - ISSN: 2394-9333

5. Foster I., Kesselman C. The grid: blueprint for a new computing infrastructure. // Morgan Kaufmann Publishers Inc. San Francisco, CA, USA, 1999. - 593 p. - ISBN 1-55860-475-8.

6. Shiers J. The Worldwide LHC Computing Grid (worldwide LCG) // Computer Physics Communications. - 2007. - Vol. 177. - Issues 1-2. - P. 219-223. - DOI: - 10.1016/j.cpc.2007.02.021. - URL: https://doi.org/10.1016/j.cpc.2007.02.021

7. The ATLAS Collaboration, G. Aad et al. The ATLAS Experiment at the CERN Large Hadron Collider // Journal of Instrumentation - 2008 - Vol. 3, S08003

8. The ATLAS TDAQ Collaboration. The ATLAS Data Acquisition and High Level Trigger system // Journal of Instrumentation - 2016 - Vol. 11, P06008 -D0I:10.1088/1748-0221/11/06/p06008 -URL:http://dx.doi.org/10.1088/1748-0221/11/06/P06008

9. Panduro Vazquez W., The ATLAS Data Acquisition System in LHC Run 2 // Journal of Physics: Conference Series - 2017 - Vol. 898 032017 -D0I:10.1088/1742-6596/898/3/032017 -URL:http://dx.doi.org/10.1088/1742-6596/898/3/032017

83

10. Models of Networked Analysis at Regional Centers for LHC Experiments [Электронный ресурс] - Режим доступа:

https://monarc.web.cern.ch/MONARC/docs/refs.html (дата обращения -05.08.2021)

11. Биндер Курт и др. Методы Монте-Карло в статистической физике: Пер.с англ. / Под ред. Г.И.Марчука, Г.А. Михайлова. - М.: Мир, 1982. -400с.

12. The Production and Distributed Analysis (PanDA) system [Электронный ресурс] - Режим доступа: https://panda-wms.readthedocs.io/en/latest/index.html (дата обращения - 05.08.2021)

13. Albrecht J., Alves A.A. et al. A Roadmap for HEP Software and Computing R&D for the 2020s. // Computing and Software for Big Science - 2019 - vol. 3, 7 - DOI: 10.1007/s41781-018-0018-8 - URL https://doi.org/10.1007/s41781-018-0018-8

14. The ATLAS Collaboration., Aad, G., Abbott, B. et al. The ATLAS Simulation Infrastructure. // Eur. Phys. J. C - 2010 - Vol. 70, 823-874 - URL: https://doi.org/10. 1140/epjc/s 10052-010-1429-9

15. Данные учета потребленных вычислительных ресурсов для обработки данных эксперимента ATLAS с 2015 по 2019 год. [Электронный ресурс] -Режим доступа: https://monit-grafana.cern.ch/goto/KRLjPZM7k (дата обращения - 05.08.2021)

16. Конференция PASC 2018 // Jack C. Wells, HPC for HEP: Perspective/Lessons from Titan & Looking to the Future // Mini Symposium HPC for HEP: Enabling Big Data from Large Instruments on Leadership Class HPC Infrastructures -2018

17. Campana S. Evolution of the ATLAS distributed computing system during the LHC long shutdown // Journal of Physics Conference Series - 2014 - Vol. 513(3):032016 - DOI: 10.1088/1742-6596/513/3/032016 -http://dx.doi.org/10.1088/1742-6596/513/3/032016

18. Titan, Cray® XK7™ [Электронный ресурс] - Режим доступа: https://www.olcf.ornl.gov/olcf-resources/compute-systems/titan/ (дата обращения - 05.08.2021)

19. Oak Ridge Leadership Computing Facility [Электронный ресурс] - Режим доступа: https://www.olcf.ornl.gov (дата обращения- 05.08.2021)

20. Theta, Intel-Cray XC40 [Электронный ресурс] - Режим доступа: https://www.alcf.anl.gov/alcf-resources/theta (дата обращения - 05.08.2021)

21. Argonne Leadership Computing Facility [Электронный ресурс] - Режим доступа: https://www.alcf.anl.gov (дата обращения - 05.08.2021)

22. Cori, Cray XC40 [Электронный ресурс] - Режим доступа: https://www.nersc.gov/systems/cori/ (дата обращения- 05.08.2021)

23. National Energy Research Scientific Computing Center [Электронный ресурс] -Режим доступа: https://www.nersc.gov/ (дата обращения - 05.08.2021)

24. Oak Ridge National Laboratory [Электронный ресурс] - Режим доступа: https://www.ornl.gov (дата обращения - 05.08.2021)

25. Maeno T., Oleynik D., et al., Harvester: an edge service harvesting heterogeneous resources for ATLAS // EPJ Web of Conferences - 2019 - Vol. 214, 03030 -DOI: 10.1051/epjconf/201921403054 -IJRL:https://doi.org/10.1051/epjconf/201921403030

26. Abbon P. et al. The COMPASS experiment at CERN // Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. - 2007. - Vol. 577.- No. 3 - P. 455-518. - DOI: 10.1016/j.nima.2007.03.026. - URL: https://doi.org/10.1016/_i.nima.2007.03.026

27. MPI Forum [Электронный ресурс] - Режим доступа: https://www.mpi-forum.org (дата обращения - 05.08.2021)

28. CSCS - Swiss National Supercomputing Centre [Электронный ресурс] -Режим доступа: https://www.cscs.ch (дата обращения - 05.08.2021)

29. Barcelona Supercomputing Center [Электронный ресурс] - Режим доступа: https://www.bsc.es/marenostrum/marenostrum (дата обращения - 05.08.2021)

30. SUMMIT Oak Ridge National Laboratory's 200 petaflop supercomputer [Электронный ресурс] - Режим доступа:

https://www.olcf.ornl.gov/olcf-resources/compute-systems/summit/ (дата обращения - 05.08.2021)

31. De K., Klimentov A., Oleynik D., et al. Next generation workload management system for big data on heterogeneous distributed computing // Journal of Physics: Conference Series - 2015 - Vol. 608(1)012040 -D0I:10.1088/1742-6596/608/1/012040 -URL:https://doi.org/10.1088/1742-6596/608/1/012040

32. Calafiura P., Tsulaia V., et al. Multicore in production: advantages and limits of the multiprocess approach in the ATLAS experiment // Journal of Physics: Conference Series - 2012 - vol. 368(012018) -D0I:10.1088/1742-6596/368/1/012018 - ISBN:1742-6596 -URL:http://dx.doi.org/10.1088/1742-6596/368/1/012018

33. Данные учета выполненых задач эксперимента ATLAS с 2010 по 2019 год. [Электронный ресурс] - Режим доступа:

https://monit-grafana.cern.ch/goto/0AcJxqH7k?orgId=17 (дата обращения -05.08.2021)

34. M. Turilli, M. Santcroos, and S. Jha, A comprehensive perspective on pilot-jobs // arXiv:1508.04180 - URL:https://arxiv.org/pdf/1508.04180.pdf

35. Representational State Transfer (REST) [Электронный ресурс] - Режим доступа: https://www.ics.uci.edu/~fielding/pubs/dissertation/rest_arch_style.htm (дата обращения - 05.08.2021)

36. Borodin M. et al., Scaling up ATLAS production system for the LHC Run 2 and beyond: project ProdSys2 // Journal of Physics: Conference Series. - 2015. - Vol.

664. - DOI: 10.1088/1742-6596/664/6/062005. -URL:https://iopscience.iop.org/article/10.1088/1742-6596/664/6/062005

37. Anisenkov A., Di Girolamo A., Klimentov A., Oleynik D., Petrosyan A. AGIS: The ATLAS Grid Information System // Journal of Physics Conference Series. - 2014. - Vol. 513. - DOI: 10.1088/17426596/513/3/032001. - URL:

https://iopscience.iop.org/article/10.1088/1742-6596/513/3/032001

38. Branco M., Garonne V., et al. Managing ATLAS data on a petabyte-scale with DQ2 // Journal of Physics: Conference Series - 2008 - Vol. 119 -D0L10.1088/1742-6596/119/6/062017 -URL:https://doi.org/10.1088/1742-6596/119/6/062017

39. Garonne V. et al. Rucio - The next generation of large scale distributed

system for ATLAS Data Management // Journal of Physics: Conference

Series. - 2014. - Vol. 513. - DOI: 10.1088/1742-6596/513/4/042021. -URL:https://iopscience.iop.org/article/10.1088/1742-6596/513/4/04202 .

40. J Caballero, J Hover, P Love, G A Stewart, AutoPyFactory: A Scalable Flexible Pilot Factory Implementation / Journal of Physics: Conference Series. - 2012 -Vol. 396 - DOI: 10.1088/1742-6596/396/3/032016. -URL:https://doi.org/10.1088/1742-6596/396/3/032016

41. Barisits, M., Beermann, T., Berghaus, F. et al. Rucio: Scientific Data Management. / Computing and Software for Big Science 3, 11. - 2019 - URL: https://doi.org/10. 1007/s41781-019-0026-3

42. Рейтинг наиболее производительных суперкомпьютеров Top500 [Электронный ресурс] - Режим доступа: https://www.top500.org (дата обращения - 05.08.2021)

43. Jaguar gone but not forgotten [Электронный ресурс] - Режим доступа: https://www.olcf.ornl.gov/2012/11/16/jaguar-gone-but-not-forgotten/ (дата

обращения - 05.08.2021)

44. Alex Woodie, Spider II Emerges to Give ORNL a Big Speed Boost /HPCwire -August 16, 2013 - URL:

https://www.hpcwire.com/2013/08/16/spider ii emerges to give ornl a big sp eed boost/

45. The Lustre file system [Электронный ресурс] - Режим доступа: https://datatracker.ietf.org/doc/html/rfc 1094 (дата обращения - 01.09.2021)

46. Network File System Protocol [Электронный ресурс] - Режим доступа: https://www.lustre.org (дата обращения - 01.09.2021)

47. C. Leggett, P. Calafiura, W. Lavrijsen, M. Marino, D. Quarrie, The Athena Control Framework in Production, New Developments and Lessons Learned // 14th International Conference on Computing in High-Energy and Nuclear Physics - 2005 - стр. 456-458 - URL: https://inspirehep.net/literature/707328

48. ATLAS Athena Guide [Электронный ресурс] - Режим доступа: https://atlassoftwaredocs.web.cern.ch/athena/ (дата обращения - 01.09.2021)

49. A Simple API for Grid and Distributed Applications. RADICAL-SAGA [Электронный ресурс] - Режим доступа:

https://radical-cybertools.github.io/saga-python/index.html (дата обращения -01.09.2021)

50. Sarp Oral, OLCF I/O best practices [Электронный ресурс] - Режим доступа: https://www.olcf.ornl.gov/wp-content/uploads/2015/02/0LCF-I0-Best-Practices. pdf (дата обращения - 01.09.2021)

51. Best Practice Guide - Parallel I/O (PRACE) [Электронный ресурс] - Режим доступа:

https://prace-ri.eu/wp-content/uploads/Best-Practice-Guide_Parallel-IO.pdf (дата обращения - 01.09.2021)

52. Input/Output in Parallel and Distributed Computer Systems. под ред. Ravi Jain, John Werth, James C. Browne // Springer, Boston, MA, 1996 , c 396 _ ISBN:978-0-7923-9735-9 - eISBN:978-1-4613-1401-1

53. Lofstead J.F., Klasky S., Schwan K., Podhorszki N., Jin C., Flexible IO and integration for scientific codes through the adaptable IO system (ADIOS) // Proceedings of the 6th international workshop on Challenges of large applications in distributed environments (CLADE '08) - 2008 - стр. 15-24 -DOI:https://doi.org/10.1145/1383529.1383533

54. CernVM-FS [Электронный ресурс] - Режим доступа: https://cernvm.cern.ch/fs/ (дата обращения - 01.09.2021)

55. Calafiura P., Leggett C., Seuster R., Tsulaia V., Gemmeren P., Running ATLAS workloads within massively parallel distributed applications using Athena Multi-Process framework (AthenaMP) // Journal of Physics: Conference Series -2015 - Vol. 664, 072050 - DOI:10.1088/1742-6596/664/7/072050 -URL:https://doi.org/10.1088/1742-6596/664/7/072050

56. Утилита strace [Электронный ресурс] - Режим доступа: https://man7.org/linux/man-pages/man1/strace.1.html (дата обращения -01.09.2021)

57. SQLite database engine [Электронный ресурс] - Режим доступа: https://www. sqlite. org/index .html (дата обращения - 01.09.2021)

58. Harvester documentation [Электронный ресурс] - Режим доступа: https://github.com/HSF/harvester/wiki (дата обращения - 06.09.2021)

59. Barreiro F., Oleynik D., Benjamin D., Childers T., De K., Elmsheuser J., Filipcic A., Klimentov A., Lassnig M., Maeno T., , Panitkin S., Wenaus T., The Future of Distributed Computing Systems in ATLAS: Boldly Venturing Beyond Grids //

EPJ Web Conf., 214,03047 - 2019 - DOI: https://doi.org/10.1051/epiconf/201921403047

60. Barreiro F., Harinder S. B., De K., Elmsheuser J., Klimentov A., Lassnig M., Serfon C., Wegner T., Seamless integration of commercial Clouds with ATLAS Distributed Computing // EPJ Web Conf. 251 02005 - 2021 - DOI: 10.1051/epjconf/202125102005

61. Barreiro F., Berghaus F., Cameron D., De K., Filipcic A., Glushkov I., Lin F., Maeno T., Magini N., Managing the ATLAS Grid through Harvester // EPJ Web Conf. - 245 03010 - 2020 - DOI: 10.1051/epjconf/202024503010

62. PanDA Pilot 2.0 [Электронный ресурс] - Режим доступа:

https://github.com/PanDAWMS/pilot2/wiki (дата обращения - 06.09.2021)

63. Nilsson P., Anisenkov A., Benjamin D., Drizhuk D., Guan W., Lassnig M., Oleynik D., Svirin P., Wegner P., The next generation PanDA Pilot for and beyond the ATLAS experiment // EPJ Web Conf., 214, 03054 - 2019 - DOI: https://doi.org/10.1051/epjconf/201921403054

64. Barisits M., Barreiro F., Nilsson P., at al,, The Data Ocean Project - An ATLAS and Google R&D collaboration // EPJ Web Conf. - vol. 214 04020 - 2019 - DOI: 10.1051/epjconf/201921404020

65. Nilsson P., Anisenkov A., Doug Benjamin D., Wen Guan W., Javurek T., Oleynik D., Harnessing the power of supercomputers using the PanDA Pilot 2 in the ATLAS Experiment // EPJ Web Conf. - Vol. 245,03025 - 2020 - DOI: https://doi.org/10.1051/epjconf/202024503025

66. Frank Berghaus et al. Sim@P1: Using Cloudscheduler for offline processing on the ATLAS HLT farm // EPJ Web of Conferences. - 2019. - Vol. 214. - DOI: 10.1051/epjconf/201921407021 -

URL: http s: //doi .org/10. 1051/epjconf/201921407021

67. The Texas Advanced Computing Center [Электронный ресурс] - Режим доступа: https://www.tacc.utexas.edu (дата обращения - 06.09.2021)

68. Blue Waters, Cray XE/XK. [Электронный ресурс] Режим доступа: https://bluewaters.ncsa.illinois.edu/ (дата обращения - 06.09.2021)

69. Frontera - petascale computing system. [Электронный ресурс] Режим доступа: https://www.tacc.utexas.edu/systems/frontera (дата обращения - 06.09.2021)

70. Petrosyan A., Malevanniy D. Distributed data processing of the COMPASS experiment // CEUR Workshop Proceedings. - 2019. - Vol. 2507. P. 94-98. -URL: http://ceur-ws.org/Vol-2507/94-98-paper-15.pdf.

71. Pavlo Svirin, Danila Oleynik, et al. BigPanDA, BigPanDA: PanDA Workload Management System and its Applications beyond ATLAS // EPJ Web of Conferences. - 2019 - Vol. 214, 03050, - DOI:10.1051/epjconf/201921403054 -URL:https://doi.org/10.1051/epjconf/201921403050

72. Rubin Observatory Legacy Survey of Space and Time. Dark Energy Science Collaboration [Электронный ресурс] - Режим доступа: https://lsstdesc.org (дата обращения - 06.09.2021)

73. GridPP [Электронный ресурс] - Режим доступа: https://www.gridpp.ac.uk (дата обращения - 06.09.2021)

74. SciDAC-4: HEP Data Analytics on HPC [Электронный ресурс] - Режим доступа: https://computing.fnal.gov/hep-on-hpc/ (дата обращения - 06.09.2021)

75. Blue Brain Project [Электронный ресурс] - Режим доступа: https://www.epfl.ch/research/domains/bluebrain/ (дата обращения - 06.09.2021)

76. IBM BlueGene [Электронный ресурс] - Режим доступа: https://www.ibm.com/ibm/history/ibm100/us/en/icons/bluegene/ (дата обращения - 06.09.2021)

77. BLUE BRAIN 4 [Электронный ресурс] - Режим доступа: https://www.cscs.ch/computers/decommissioned/blue-brain-4/ (дата обращения - 06.09.2021)

78. R. Haring et al., The IBM Blue Gene/Q Compute Chip // IEEE Micro - 2012 -vol. 32(2) - стр. 48-60 - doi: 10.1109/MM.2011.108.

79. Mira is the ALCF's 10-petaflops IBM Blue Gene/Q supercomputer. [Электронный ресурс] - Режим доступа:

https://www.alcf.anl.gov/alcf-resources/mira (дата обращения - 06.09.2021)

80. Halzen F., Spencer R. K., IceCube: An instrument for neutrino astronomy // Review of Scientific Instruments - 2010 - 81(8), 081101 - DOI: 10.1063/1.3480478 - URL: https://doi.org/10.1063/1.3480478

81. Lamoreaux S K, Golub R, Experimental searches for the neutron electric dipole moment // Journal of Physics G: Nuclear and Particle Physics - 2009 - Vol. 10, 104002 - DOI: 10.1088/0954-3899/36/10/104002 -URL:http://dx.doi.org/10.1088/0954-3899/36/10/104002

82. XGBoost [Электронный ресурс] - Режим доступа: https://xgboost.readthedocs.io/ (дата обращения -06.09.2021)

83. Петросян А. Ш. Методика и программная инфраструктура глобально распределенной обработки данных эксперимента COMPASS [Текст]: дис.канд. тех. наук: 05.13.11: защищена 21.05.21 / Петросян Артем Шмавонович - Дубна, 2021. - 100 с.

84. Petrosyan A. COMPASS Production System: Processing on HPC // CEUR Workshop Proceedings. - 2018. - Vol. 2267. - P. 139-144. - URL: http://ceur-ws.org/Vol-2267/139-144-paper-25.pdf.

85. Petrosyan A., Malevanniy D. Distributed data processing of the COMPASS experiment // CEURWorkshop Proceedings. - 2019. - Vol. 2507. P. 94-98. -URL: http://ceur-ws.org/Vol-2507/94-98-paper-15.pdf.

European Organization for Nuclear Research Oiganisation européenne pour la recherche nucléaire

Alessandro Di Girolamo

Computing Coordinator, ATLAS Collaboration

40-3D-20

CERNCH 1211 Switzerland

Email [e-mail]

Geneva, 19 July 2021

To Whom It May Concern:

I know Danila Oleynik since when he started his work for ATLAS Distributed Computing (ADC) in 2009, when he joined as a developer in the Distributed Data Management (DDM) team for implementation and future support of Deletion Service - one of crucial component of the DDM system.

Danila took also an active role in the architecting and developing the ATLAS Grid Information System (AGIS), which describes the computing infrastructure of the ATLAS experiment, and he also participated in the migration of AGIS to the present system, the Computing Resource Information Catalogue (CRIC), which is now an experiment independent general tool used by several communities.

He joined the BigPanDA project in 2013, being already very familiar with ATLAS distributed data processing.

One of the areas where Danila, within the BigPanDA project, has been mostly active is the exploitation of the opportunistic computing resources, in particular some of the huge HPC opportunistically available in the US.

Danila's efforts of integration of Titan supercomputer at Oak Ridge Leadership Computing Facility (OLCF) with ATLAS Production system were very useful: he was one of the person able to demonstrate the possibility of running thousands of jobs in "backfill" mode on Titan, which brought valuable outcome for ATLAS.

Danila, thanks to his deep understanding of the ATLAS distributed computing environment and in particular of LCF platforms, provided fundamental operational support for data processing on Titan till the last days of availability of this HPC.

As result, ATLAS benefitted of both the hundreds of millions of CPU*Hours with billions of simulated events, and also of the proven methods and instruments for integration other HPC. Danila is a strong valuable asset, with proven records of delivering, I am happy to support him in his PhD defence.

Yours sincerely,

Alessandro Di Girolamo Computing Coordinator for the ATLAS Collaboration

home.cern

A

THE UNIVERSITY OF TEXAS AT ARLINGTON

Department of Physics Box 19059 502 Yates Arlington, Texas 76019-0059

T 817.272.2266 F 817.272.2824

www.uta.edu

Be A Ivfaverick. ™

August 17, 2021

Rc: Support letter for Danila Oleynik

I am happy to write this letter in support of Danila Oleynik. I have known Danila since around 2010, when I visited Dubna to explore new collaborations. After that, I know of his contributions when he worked at CERN on the ATLAS experiment at the Large Hadron Collider (LHC). He then worked with me in the U.S. at my university. I have observed him contribute to a variety of innovative projects in ATLAS computing. Danila is a skilled software architect and programmer with expertise in the area of distributed computing.

Danila worked at my institution, the University of Texas at Arlington (UTA), as a software developer for more than five years. During this time, I supervised him on a couple of projects, and worked closely with him, as described below.

In 2013 we started an ambitious project, callcd BigPanDA, to extend the PanDA workload management system to all available computing resources, including opportunistic use of commercial and academic clouds and supercomputers at U.S. Leadership Computing Facilities (LCF).

Danila was selected to work on the BigPanDA project because of his excellent record of work in ATLAS distributed computing. He participated in the BigPanDA projcct as a researcher of HPC facilities and as a software developer. He worked on this projcct for about six years, primarily on the development of software solutions for the integration of Titan supercomputer and BigPanDA operations at Oak Ridge Laboratory Computing Facility (OLCF).

The BigPanDA project provided the first important demonstration of the capabilities that a workload management system (WMS) can have on improving the uptake and utilization of LCF from both application and systems points of view.

Through modifications to the pilot system in PanDA, Danila developed and implemented a new capability to collect information about unused worker nodes on Titan. PanDA used this information to adjust workload parameters to fill free resources. Initial proof-of-concept tests of this mechanism increased system utilization levels from 90% to 93% (14.3% of free cyclcs), as well as maintaining short wait times for ATLAS jobs submitted to Titan via PanDA; all with no negative impact on OLCF ability to schedule large leadership-class jobs.

After these tests, Titan was fully integrated with the ATLAS PanDA based

production system by Danila. The ATLAS experiment continuously ran Monte-Carlo simulation tasks on Titan, in support of dozens of ongoing data analysis efforts. All operations, including data transfers to and from Titan, arc transparent to the ATLAS Computing Operations team and physicists. The automation of the workflow processing on Titan for the ATLAS experiment was possible primarily because of the R&D and software development work done by Danila.

Results of Danila's researches at OLCF not only led to some new capabilities in the PanDA workload management system (specifically in the Pilot system) but led to the evolution of a new architecture of the system through a new resource-facing service - Harvester. He actively participated in the design of a new version of pilot application - Pilot 2.0 and provided a set of recommendations and requirements for core components of the Harvester. Danila implemented new extensions in Pilot 2.0 for computing nodes of supercomputer along with the development of plugins to support efficient usage of Titan supercomputer through the Harvester. New methods formulated during the integration of PanDA with Titan were codified in the production PanDA WMS instance which now supports usage of HPC facilities with other opportunistic rcsourccs beyond the grid.

Before ending this letter of support, I should provide a brief background of my professional accomplishments. 1 am a Professor of Physics at the University of Texas at Arlington, I served for 5 years as the Associate Dean of the Honors College. I also served as an Assistant to the Dean of the College of Science. I am the Director of the Center of Excellence in High Energy and Nuclcar Physics. Having published over 1000 articles in professional journals, I have management responsibilities currently as the Deputy Project Leader for Software and Computing

for US ATLAS.

Sincerely,

Kaushik De

Professor of Physics

Director, Center of Exccllcncc in HEP

[phone]

[e-mail]