Координация периодического выполнения задач в распределённых системах обработки данных через хранилище ключ-значение тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Зейналлы Теймур Эйюб оглы

• Зейналлы Теймур Эйюб оглы
• кандидат наук
• 2026

Оглавление диссертации кандидат наук Зейналлы Теймур Эйюб оглы

Введение

Глава 1. Аналитический обзор существующих методов обеспечения периодического выполнения задач в распределённых системах обработки данных

1.1. Особенности периодического выполнения задач в распределённых системах

1.1.1. Функциональные особенности и назначение

1.1.2. Классификация

1.1.3. Функциональная устойчивость

1.1.4. Масштабируемость по количеству узлов

1.2. Состояние исследований в области периодического выполнения задач в распределённых системах

1.2.1. Историческое развитие распределённых систем, фундаментальные принципы и модели взаимодействия

1.2.2. Координация в распределённых системах

1.2.3. Механизмы обработки данных в корпоративных распределённых системах

1.2.4. Периодическое выполнение задач

1.2.5. Планирование задач в распределённых системах

1.2.6. Современные тенденции и перспективы

1.3. Обзор архитектурных решений

1.3.1. Очереди задач

1.3.2. Распределённые блокировки

1.3.3. Шардирование по ключу

1.3.4. Оркестрация виртуализированных сред исполнения

1.4. Цель и постановка задачи исследования

Глава 2. Разработка методики координации и балансировки для периодического выполнения задач в распределённых системах обработки данных

2.1. Определение и обоснование методологических основ для разработки

методик

2.1.1. Определение метода координации

2.1.2. Определение средств для обеспечения координации

2.2. Архитектура рассматриваемых распределённых систем обработки

данных

2.3. Архитектура прикладного программного обеспечения

2.4. Особенности применения распределённых блокировок

2.5. Методика координации выполнения задач между узлов

2.5.1. Координация с захватом блокировки на каждый запуск задачи

Выполнение задач по календарному расписанию (сгоП;аЬ)

Выполнение задач по рекуррентному расписанию

Выполнение задач по нагрузочно-зависимому расписанию

Обсуждение координации с захватом блокировки на каждый запуск задачи

2.5.2. Координация с захватом блокировки на серию запусков задачи

Выполнение задач по календарному расписанию (сгоП;аЬ)

Выполнение задач по рекуррентному расписанию

Выполнение задач по нагрузочно-зависимому расписанию

Обсуждение координации с захватом блокировки на серию запусков задачи

2.6. Методика балансировки задач между узлами

2.6.1. Определение критериев балансировки

2.6.2. Основные требования к балансировке задач по узлам

2.6.3. Определение приоритета узла

2.6.4. Синхронизация данных о приоритетах между узлами

2.6.5. Балансировка задач для различных стратегий координации

Балансировка при захвате блокировки каждый запуск задачи

Балансировка при захвате блокировки на серию запусков задачи

Обсуждение балансировки задач между узлами

2.6.6. Метод вычисления приоритета загруженности узла для балансировки

задач на основе прогнозирования нагрузки

Анализ параметров, оказывающих влияние на приоритет загруженности

Построение модели прогнозирования

Способ практического использования

2.7. Математическая формализация процессов периодического выполнения

задач в распределённых системах

2.7.1. Метод формализации периодического выполнения задач

2.7.2. Расчёт характеристик системы

Интенсивность запуска задач

Время выполнения задачи

Коэффициент загрузки системы

Среднее время ожидания задачи в очереди

Среднее число задач в очереди

Минимально возможный интервал обработки задач

2.7.3. Учёт балансировки задач по узлам

2.7.4. Учёт отказов узлов системы

2.7.5. Учёт масштабируемости системы по количеству узлов

Масштабируемость по количеству узлов приложения

Масштабируемость по количеству узлов хранилища

2.7.6. Теоретическая граница производительности алгоритмов координации

2.7.7. Сравнение подходов к координации

2.7.8. Программная реализация модели

2.8. Выводы по второй главе

Глава 3. Экспериментальная оценка методики координации балансировки для периодического выполнения задач в распределённых системах обработки данных

3.1. Методика проведения экспериментальных исследований

3.2. Оценка характеристик распределённых систем с координацией через

захват блокировки на каждый запуск задачи

3.2.1. Цель и задачи эксперимента

3.2.2. Материалы и методы

Условия проведения эксперимента

План испытаний

Реализация приложений

Методы обработки полученных данных

3.2.3. Результаты

3.2.4. Обсуждение

3.2.5. Выводы

3.3. Сравнительный анализ программного решения на основе разработанных методик с аналогичными распространёнными решениями

3.3.1. Цель и задачи эксперимента

3.3.2. Материалы и методы

Методология

Условия проведения эксперимента

Методы измерений и установление их потребной точности

Реализация приложений

План испытаний

Методы обработки полученных данных

3.3.3. Результаты

3.3.4. Выводы

3.4. Оценка масштабируемости по количеству узлов систем на базе разработанного решения

3.4.1. Цель и задачи эксперимента

3.4.2. Материалы и методы

Условия проведения эксперимента

Методы измерений и установление их потребной точности

Реализация приложений

План испытаний

Методы обработки полученных данных

Расчёт показателей

Расчёт статистических характеристик и исключение выбросов

Установление вида зависимости показателей от числа узлов

3.4.3. Результаты

Результаты испытаний масштабируемости по количеству узлов приложения

Результаты испытаний масштабируемости по количеству узлов хранилища изображены на рисунке 3.15 и представлены в таблице

Результаты испытаний масштабируемости по количеству всех типов узлов

3.4.4. Выводы

3.5. Оценка модели определения приоритета для балансировки задач по узлам с прогнозированием нагрузки

3.5.1. Создание экспериментального стенда, замеры показателей (метрик)

3.5.2. Подготовка исходного набора данных

3.5.3. Обучение и оценка модели

3.5.4. Выводы

3.6. Выводы по третьей главе

Заключение

Список литературы

Приложение A. Блок-схемы алгоритмов координации с захватом блокировки на

каждый запуск задачи

Приложение Б. Блок-схемы алгоритмов координации с захватом блокировки на

серию запусков задачи

Приложение В. Обобщённые блок-схемы алгоритмов координации с балансировкой задач по узлам

Приложение Г. Свидетельства о государственной регистрации программ для

ЭВМ

Приложение Д. Акты о внедрении результатов диссертации

Введение диссертации (часть автореферата) на тему «Координация периодического выполнения задач в распределённых системах обработки данных через хранилище ключ-значение»

Введение

Актуальность темы исследования. Развитие корпоративных информационных систем сопровождается увеличением объёмов обрабатываемых данных и усложнением архитектуры программных решений. Одним из распространённых подходов к построению таких систем является распределение вычислений между множеством узлов, взаимодействующих по сети.

В таких системах широко распространена модель обработки данных, при которой отдельные узлы выполняют прикладные бизнес задачи с определённой периодичностью (по заданному расписанию). К таким задачам относятся операции обработки и синхронизации данных, формирование аналитической отчётности, отправка уведомлений, координация обмена сообщениями между компонентами системы и т.д. В распределённой среде выполнение таких задач требует согласованного управления, позволяющего исключить параллельный запуск идентичных операций на разных узлах в тех случаях, когда это может привести к логическим ошибкам или нарушению целостности данных.

Существующие подходы к организации периодического выполнения задач в распределённых системах нередко основываются на использовании реляционных баз данных для координации задач. При этом в условиях перехода к микросервисной архитектуре и контейнерной среде такие решения ограничивают масштабируемость и усложняют управление вычислительными ресурсами. Дополнительно к этому, присущая распространённым подходам зависимость от центральных планировщиков делает систему чувствительной к отказам отдельных узлов. Одним из часто наблюдаемых следствий становится рост задержек между периодическими запусками задач, возникающий при перегрузке координационных механизмов.

Указанные ограничения обосновывают необходимость разработки методик, описывающих принципы координации и балансировки периодических задач в распределённых системах обработки данных, функционирующих без центральных планировщиков и выполняющих задачи в условиях возможных отказов отдельных узлов. Для применения разработанных методик в корпоративных

системах возникает необходимость их программной реализации. Целевыми характеристиками систем являются: выполнение задач при частичной недоступности узлов, способность к динамическому масштабированию (увеличению или уменьшению количества узлов в зависимости от нагрузки), а также сохранение стабильно низких координационных накладных расходов.

Степень разработанности.

Координация задач в отказоустойчивых распределённых системах опирается на механизмы достижения консенсуса, позволяющие согласованно поддерживать общее состояние на множестве узлов. Первые исследования в области консенсуса относятся к работам E.A. Akkoyunlu, K. Ekanadham и R.V. Huber, где была сформулирована так называемая «задача двух генералов» [1]. Последующие исследования L. Lamport, R. Shostak и M. Pease заложили основы понимания византийских отказов [2], а L. Lamport описал семейство протоколов Paxos [3]. Позднее Miguel Castro и Barbara Liskov предложили протокол PBFT (Practical Byzantine Fault Tolerance), учитывающий византийские сбои [4]. Позднее Diego Ongaro и John Ousterhout разработали алгоритм Raft, сделавший механизмы консенсуса более доступными для реализации [5]. На практике в корпоративных и облачных средах наиболее востребованы невизантийские алгоритмы (Paxos, Raft), лежащие в основе таких распространённых программных решений, как Apache ZooKeeper, etcd, Consul, LogCabin и др [6,7].

С ростом объёмов данных и усложнением бизнес-логики приложений особую актуальность приобрели механизмы периодической обработки заданий в распределённых средах. Исследователи (Piotr Bryk, Maciej Malawski, Gideon Juve & Ewa Deelman) предложили различные алгоритмы планирования с учётом особенностей хранения и передачи данных [8]. Ritu Garg, Mamta Mittal & Le Hoang Son сконцентрировались на повышении надёжности и энергоэффективности [9], а Ravi Kiran Mallidi, Sharma M., Sreenivas Rao Vangala рассмотрели подход EDF-RM для выполнения задач [10]. Chunlin Li, Jianhang Tang, Tao Ma, Xihao Yang, Youlong Luo изучали балансировку нагрузки [11]. Однако, многие исследования уделяют основное внимание планировщикам и распределённым

файловым системам, без учёта специфики координации через хранилища типа ключ-значение.

Распределённые системы являются активно развивающимся направлением, чему способствуют исследования многих отечественных авторов. Так, Бон-даренко А.С. и Королёв Д.В. анализируют мультиагентные модели в микросервисных архитектурах [12]. Вальдивия Х.А. и соавт. сосредоточены на паттернах микросервисной архитектуры [13], а Барабанов А.В. и Макрушин Д.Н. рассматривают вопросы аутентификации и авторизации [14]. Кугушева Д.С. уделяет внимание декомпозиции крупных программных систем, включая управление зависимостями в условиях микросервисного подхода [15]. Амиров С.Н. исследует особенности разработки высоконагруженных систем [16], а Апишев М.А. предлагает реализации алгоритмов тематического моделирования в рамках пакетной обработки [17]. Болбаков Р.Г. и Попов К.С. рассматривают проблемы высокопроизводительной потоковой обработки пространственных данных [18], Белов В.А. и Никульчев Е.В. проводят экспериментальную оценку временной эффективности при работе с большими объёмами информации [19].

При этом среди многих современных подходов всё более востребованы системы пакетной (Batch) и потоковой (Stream) обработки данных. Пакетная обработка (A. Fowler, L. Mönch, Апишев М.А.) позволяет обрабатывать данные блоками фиксированного размера (пакетами) [17,20]. Потоковая обработка (T. Akidau) позволяет обрабатывать данные по мере их поступления в режиме реального времени, обеспечивая минимальные задержки и высокую скорость реакции на события [21]. В обеих парадигмах ключевой вопрос - согласованность и целостность промежуточных результатов в условиях распределённости и возможных отказов. Хранилища ключ-значение (ZooKeeper, etcd, Redis и др.) нередко используются для хранения метаданных, обнаружения сервисов (service discovery) и реализации распределённой блокировки [22-24].

Таким образом, несмотря на существенные достижения в области распределённых вычислений и планирования, тема обеспечения координации периодического выполнения задач через хранилище ключ-значение остаётся актуаль-

ной. Настоящая работа нацелена на систематизацию и расширение подходов к данной проблеме, объединяя подходы планирования в распределённой обработке данных и практики на хранилищах ключ-значение.

Объектом исследования являются распределённые системы обработки данных, в которых требуется координация периодического выполнения задач между взаимодействующими по сети узлами.

Предметом исследования являются модели, методы и алгоритмы координации, обеспечения динамической масштабируемости по количеству узлов с возможными отказами при выполнении периодических задач в распределённых системах обработки данных.

Целью диссертационного исследования является разработка и программная реализация высокопроизводительных и ресурсно-эффективных методик координации и балансировки задач в распределённых вычислительных инфраструктурах, обеспечивающих динамическое масштабирование узлов с возможными отказами.

Для достижения указанной цели в работе поставлены следующие основные задачи:

1. Проанализировать существующие подходы к организации выполнения периодических задач в распределённых инфраструктурах и выявить их ограничения в контексте обеспечения выполнения задач при возможных отказах узлов, масштабируемости по количеству узлов и производительности.

2. Разработать методики координации и балансировки задач в распределённых системах обработки данных с использованием хранилища ключ-значение, включающие: подходы к координации узлов для каждого типа планирования задач; методы балансировки задач между узлами, с учётом их состояния и загрузки.

3. Разработать математическую модель для оценки характеристик системы, учитывающую особенности различных типов планирования задач, балансировки задач между узлами, а также влияние отказов и масштабирования узлов.

4. Разработать прикладное программное обеспечение, реализующее предложенные методики, предназначенное для интеграции в прикладные проекты и предоставляющее интерфейсы для периодического выполнения задач.

5. Провести экспериментальное исследование влияния сетевых и инфраструктурных сбоев на производительность и использование аппаратных ресурсов в системах на базе разработанного программного решения. Оценить масштабируемость систем путём изменения количества узлов и проанализировать влияние данного фактора на указанные показатели. Научная новизна.

1. Разработана методика координации выполнения периодических задач в распределённых системах, представляющая собой комплекс решений для различных типов планирования и основанная на применении хранилища ключ-значение в качестве средства координации. Применение данной методики обеспечивает кратное снижение интервала между запусками задач в условиях высокочастотных задач с короткой длительностью выполнения. Разработанная методика предусматривает выполнение задач при частичной недоступности узлов, поддерживает динамическое масштабирование по количеству узлов и отличается от существующих подходов стабильно низкими координационными накладными расходами.

2. Предложена методика балансировки задач между узлами системы без центрального планировщика, сохраняющая одноранговость узлов системы, заложенную в методике координации и необходимую для динамической масштабируемости по количеству узлов. Особенность методики заключается в учёте загрузки вычислительных ресурсов и успешности выполнения задач на каждом узле, позволяя выбирать наиболее подходящие узлы для выполнения задач.

3. Разработана методика проведения экспериментальных исследований, ориентированная на оценку зависимости характеристик распределённых систем, периодически выполняющих задачи, от количества узлов, а также от

сетевых и инфраструктурных сбоев. Методика основана на использовании инструментов контейнеризации, что позволяет формировать идентичную инфраструктуру при каждом запуске и обеспечивает воспроизводимость результатов. Особенностью методики является комплексная имитация сетевых ограничений, динамического изменения числа узлов и эмуляции инфраструктурных сбоев, что позволяет приблизить условия испытаний к реальной среде эксплуатации.

Теоретическая значимость диссертационного исследования заключается в развитии подходов к координации выполнения задач в одноранговых распределённых системах с использованием хранилищ ключ-значение в качестве средства взаимодействия между узлами. В работе предложены методики, описывающие принципы реализации согласованных периодических запусков задач без центрального управляющего компонента.

Разработанные методики координации и балансировки задач формируют основу для построения систем с динамическим масштабированием и устойчивых к сетевым и инфраструктурным сбоям.

Полученные теоретические положения могут служить основой для дальнейших исследований и развития технологий в области высокопроизводительных распределённых систем обработки данных. Практическая значимость.

На практике результаты диссертационного исследования применимы для разработки решений, направленных координацию задач в распределённых системах обработки данных.

Предложенные в рамках диссертационного исследования методики реализованы в виде прикладного программного обеспечения - динамически подключаемых библиотек. Библиотеки предоставляют функциональность для периодического выполнения задач, координации выполнения через хранилище ключ-значение etcd, а также балансировки задач с учётом загрузки аппаратных ресурсов. Программная реализация выполнена для платформы .NET, опубликована в открытом репозитории и доступна для подключения через пакетный менеджер.

Внедрение результатов исследования осуществлено в учебную и научно исследовательскую работу, а также в отдел разработки внутренних систем Московского политехнического университета и в производственные процессы департамента Информационных технологий АО «Лаборатория Касперского», для разработки облачных распределённых высоконагруженных систем обработки данных, что подтверждается соответствующими актами.

Методы исследования. В работе использован метод теоретического анализа - для изучения научной литературы и анализа существующих подходов к координации, балансировки, учёту отказов узлов и масштабируемости по их количеству в распределённых системах; методы проектирования и анализа программных систем - для программной реализации предложенных методик; методы имитационного моделирования и метод эксперимента - для проработки условий проведения натурных экспериментов с синтетическими нагрузками, реализации экспериментальных приложений, подготовки инфраструктур экспериментальных стендов, разработки плана испытаний, проработки методов измерений и проведения самих испытаний; методы статистического анализа - для обработки данных, полученных в ходе экспериментов, для выявления закономерностей и установления видов зависимостей. Положения, выносимые на защиту

1. Методика координации выполнения периодических задач в распределённых системах обработки данных, основанная на применении хранилищ ключ-значение, предусматривающая динамическое масштабирование, выполнение задач при частичной недоступности узлов и стабильно низкие координационные накладные расходы. Методика программно реализована для платформы .NET в виде динамически подключаемой библиотеки. Системы на базе разработанной программной реализации, демонстрируют кратное снижение интервала между запусками задач в условиях высокочастотных задач с короткой длительностью выполнения.

2. Методика балансировки задач между узлами в распределённой системе без использования центрального планировщика, обеспечивающая одно-

ранговость системы, которая необходима для динамического масштабирования, предусмотренного в методике координации. Методика программно реализована для платформы .NET в виде динамически подключаемой библиотеки, предусматривающей расширения за счёт внедрения различных математических моделей для балансировки задач.

3. Методика проведения экспериментальных исследований, ориентированная на оценку зависимости характеристик распределённых систем обработки данных от количества узлов, а также от сетевых и инфраструктурных сбоев. Выполнен анализ данных, полученных в ходе испытаний по оценке производительности, масштабируемости, а также влияния сетевых ограничений и выходов узлов из строя. Испытания проводились как для распределённых систем, реализованных на базе разработанных в данной работе программных решений, так и на основе распространённых аналогичных решений.

Соответствие паспорту специальности

Предметы исследования определены паспортом специальности 2.3.5. «Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей».

№ 8. Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования.

№ 9. Модели, методы, алгоритмы, облачные технологии и программная инфраструктура организации глобально распределенной обработки данных.

№ 10. Оценка качества, стандартизация и сопровождение программных систем.

Обоснованность и достоверность научных положений, основных выводов и результатов исследования обеспечивается соответствием с данными, описанными в научной литературе, и использованием существующих теоретических подходов и концепций для разработки методик координации и балансировки. Проверка предложенных решений осуществлена с использованием методов

имитационного моделирования и натурных экспериментов с синтетическими нагрузками. Эксперименты включают эмуляцию сетевых и инфраструктурных ограничений, динамическое изменение количества узлов с последующей оценкой влияния на ключевые показатели системы. Полученные результаты не противоречат существующим научным данным, описанным в литературных источниках. Достоверность научных результатов также подтверждается их апробацией и обсуждением на международных научных конференциях, рецензированием и экспертизой научных статей, опубликованных в ведущих отечественных и зарубежных изданиях. Апробация

Основные теоретические и практические положения, а также результаты диссертационного исследования апробированы в научных публикациях, докладывались на 5 научно-практических международных и российских конференциях, а также на научных семинарах на кафедре «Информатика и информационные технологи» в Московском Политехническом Университете.

1. VIII Международная научно-практическая конференция «Информационные технологии и машиностроение» (1ТЕ2022), Россия, Москва, 26-27 апреля 2022 года.

2. Международная научно-практическая конференция «Информационные технологии и интеллектуальные системы принятия решений» (ITIDMS 2022), Россия, Москва, 4-6 марта 2023 года.

3. III Международная научно-практическая конференция «Компьютерные приложения для управления и устойчивого развития производства и промышленности» (CMSD-Ш-2023), Таджикистан, Душанбе, 25 декабря 2023 года.

4. XIV Международная молодежная научно-практическая конференция с элементами научной школы «Прикладная математика и фундаментальная информатика» (ПМиФИ 2024) Россия, Омск, 20-25 мая 2024 года.

5. XXV Всероссийская конференция молодых учёных по математическому моделированию и информационным технологиям, Россия, Новосибирск, 21-25 октября 2024 года. Публикации

Основные результаты диссертационного исследования опубликованы в 6 работах, из них: 3 в изданиях, включённых в перечень рецензируемых журналов ВАК по специальности 2.3.5; 3 - в изданиях, индексируемых в Scopus. На разработанное прикладное программное обеспечение получено 2 свидетельства ФИПС (РОСПАТЕНТ) о государственной регистрации программ для ЭВМ. Список публикаций в журналах, входящих в базы SCOPUS:

1. Zeynally T., Demidov D. Fault Tolerance of Distributed Worker Processes in Corporate Information Systems and Technologies // Communications in computer and information science. Springer Science+Business Media, 2022. С. 32-41.

2. Zeynally T., Demidov D., Dimitrov L. Prioritization of Distributed Worker Processes Based on Etcd Locks // Communications in computer and information science. Springer Science+Business Media, 2022. С. 93-103.

3. Zeynally T., Demidov D. Evaluation of the Efficiency of Fault Tolerance Algorithms for Distributed Peer-To-Peer Worker Processes Connected Through a Key-Value Store // Communications in computer and information science. Springer Science+Business Media, 2023. С. 87-98.

Список публикаций в журналах из перечня ВАК:

1. Зейналлы Т. Э. Сравнительный анализ решений на базе .NET для итерационного выполнения задач в распределенных отказоустойчивых системах // International Journal of Open Information Technologies, 2024. Том. 12, №. 6, pp. 120-127.

2. Зейналлы Т. Э., Демидов Д. Г. Оценка масштабируемости распределенных систем на основе алгоритмов итерационного выполнения задач с координацией через хранилище ключ-значение // Программная инженерия, 2024. Том 15, № 12. С. 611-622. DOI: 10.17587/prin.15.611-622

3. Зейналлы Т. Э., Демидов Д. Г. Прогнозирование нагрузки с использованием рекуррентных нейронных сетей для определения приоритета узла распределенной системы // Вестник РГРТУ, 2024. № 90. С. 42-54. DOI: 10.21667/1995-4565-2024-90-54-66

Личный вклад автора. Все результаты, представленные для защиты, были разработаны автором лично. Это включает в себя формулировку теоретических выводов, выполнение исследовательских работ, а также создание прикладного программного обеспечения. Структура диссертации.

Диссертация состоит из введения, 3 глав основного текста, заключения, выводов, списка литературы, состоящего из 224 источника и 5 приложений. Общий объем работы вместе с приложениями составляет 208 страниц, включая 36 рисунков, 13 таблиц, 28 формул и 8 листингов.

В первой главе проводится аналитический обзор существующих методов обеспечения периодического выполнения задач в корпоративных распределённых системах. Рассматриваются особенности периодического выполнения задач в распределённых системах: описываются их функциональные возможности, назначение, проводится классификация, анализируются вопросы функциональной устойчивости и масштабируемости по количеству узлов. Приводится состояние современных исследований в данной области, излагаются фундаментальные принципы и модели взаимодействия, анализируются механизмы координации и обработки данных, а также рассматриваются подходы к периодическому выполнению задач, балансировке и планированию. Особое внимание уделено обзору архитектурных решений, таких как очереди задач, распределённые блокировки, шардирование по ключу и оркестрация виртуализированных сред исполнения. По результатам анализа формулируется цель исследования и основные задачи.

Во второй главе описываются методологические основы разработки методик координации узлов и распределения (балансировки) задач между ними для периодического выполнения задач. Определяются основные подходы и сред-

ства, позволяющие обеспечить координацию распределённых узлов. Они включают выбор оптимальных методов взаимодействия и обоснование архитектурных решений. Далее приводится описание архитектуры разрабатываемого решения и принципов взаимодействия с хранилищем данных. Основное внимание уделено рассмотрению методик координации. Отдельно описана методика координации с захватом блокировки на каждый запуск задачи (включая реализацию по расписанию сгоП;аЬ, рекуррентное выполнение, а также выполнение с нагрузочно-зависимым расписанием) и методика координации с захватом блокировки на серию запусков. Описание сопровождается сравнительным обсуждением их особенностей. В дополнение к координации в разделе рассматриваются вопросы балансировки задач между узлами: вводится значение приоритета узла, устанавливаются основные требования к системе, описываются методы вычисления приоритета, синхронизации данных между узлами и приводятся методы балансировки задач для обоих подходов к координации. Отдельным подразделом выделен метод определения приоритета на основе прогнозирования нагрузки, включающий анализ параметров, влияющих на приоритет, а также построение прогностической модели и практические аспекты её применения. Глава завершается обобщающими выводами по разработанным методикам.

В третьей главе представлена экспериментальная оценка систем, функционирующих на базе разработанного программного обеспечения. В первом эксперименте проводится оценка минимального периода запуска задач в системах на базе подходов к координации с захватом блокировки на каждый запуск условиях сетевых ограничений. Формулируется цель эксперимента, описываются материалы, условия проведения испытаний, план эксперимента и методы обработки полученных данных, что позволяет сделать обоснованные выводы. Во втором эксперименте проводится сравнительный анализ разработанного программного решения с аналогичными распространёнными решениями. Подробно изложена методика проведения эксперимента, установлены условия проведения испытаний, описаны методы измерений с необходимой точностью, реализованы приложения для тестирования, а результаты подвергаются анализу.

Третий эксперимент посвящен оценке масштабируемости систем на базе разработанного программного решения. Проводятся испытания, направленные на выявление зависимости ключевых показателей от числа узлов как в приложениях, так и в хранилищах, производится расчёт статистических характеристик и исключение выбросов. Это позволяет установить вид зависимости производительности от масштабирования системы. В заключительном разделе главы рассматривается оценка модели определения приоритета с прогнозированием нагрузки. Описывается создание экспериментального стенда, процедура подготовки исходного набора данных, этапы обучения и оценки модели, что позволяет обосновать практическую применимость предложенного подхода. Итогом главы служат выводы, обобщающие результаты проведённых экспериментов и оценку разработанных методов.

В заключении работы подведены итоги проведённого исследования, сформулированы основные выводы.

Приложения содержат блок-схемы алгоритмов координации выполнения задач и балансировки задач между узлами, а также документы о государственной регистрации программ для ЭВМ и акты о внедрении результатов диссертации.

Глава 1. Аналитический обзор существующих методов обеспечения периодического выполнения задач в распределённых системах обработки данных 1.1. Особенности периодического выполнения задач в распределённых системах

1.1.1. Функциональные особенности и назначение

Назначение рассматриваемых в данной работе систем обусловлено необходимостью корпоративных приложений периодически выполнять различные бизнес-задачи. К таким задачи относятся: регулярное обновление данных клиентов, отправка периодических уведомлений, обработка транзакций, синхронизация информации между различными системами, подготовка отчётности для принятия управленческих решений и т.д.

Для разработчиков таких приложений эти требования представляются в виде технических операций, таких как обработка сообщений из очередей, периодическая проверка выполнения определённых условий в системе для запуска соответствующего сценария (например удаление неиспользуемых учётных записей или персональных данных), процесс синхронизации данных между различными системами или хранилищами (Е^ процессы), выполнение отдельных этапов комплексного процесса, производящего изменения в системе (например, по пользовательским заказам), формирование аналитических данных и построение отчётности, актуализация параметров различных сущностей (например, актуализация цен) и т.д.

Список литературы диссертационного исследования кандидат наук Зейналлы Теймур Эйюб оглы, 2026 год

Список литературы

1. Akkoyunlu E. A., Ekanadham K., Huber R. V. Some constraints and tradeoffs in the design of network communications // Proceedings of the fifth symposium on Operating systems principles - SOSP '75. 1975.

2. Lamport L., Shostak R., Pease M. The Byzantine Generals Problem // ACM Transactions on Programming Languages and Systems. 1982. Т. 4, № 3. С. 382401.

3. Lamport L. Paxos Made Simple. 2001.

4. Castro M., Liskov B. Practical byzantine fault tolerance and proactive recovery // ACM Transactions on Computer Systems. 2002. Т. 20, № 4. С. 398-461.

5. Ongaro D., Ousterhout J. In search of an understandable consensus algorithm. USENIX Association, 2014. С. 305-320.

6. Petrescu M., Petrescu R. Log Replication in Raft vs Kafka. 2020. Т. 65, № 2. С. 66-66.

7. Amiri M. J., Agrawal D., El Abbadi A. Modern Large-Scale Data Management Systems after 40 Years of Consensus. 2020.

8. Bryk P. и др. Storage-aware Algorithms for Scheduling of Workflow Ensembles in Clouds // Journal of Grid Computing. 2015. Т. 14, № 2. С. 359-378.

9. Garg R., Mittal M., Son L. H. Reliability and energy efficient workflow scheduling in cloud environment // Cluster Computing. 2019. Т. 22, № 4. С. 1283-1297.

10. Mallidi R. K., Sharma M., Vangala S. R. Streaming Platform Implementation in Banking and Financial Systems // 2022 2nd Asian Conference on Innovation in Technology (ASIANCON). 2022.

11. Li C. и др. Load balance based workflow job scheduling algorithm in distributed cloud // Journal of Network and Computer Applications. 2020. Т. 152. С. 102518.

12. Бондаренко А. С., Королев Д. В. Исследование эффективности использования мультиагентных моделей в современных микросервисных архитектурах // International Journal of Open Information Technologies. 2024. Т. 12, № 8. С. 48-55.

13. Вальдивия Х. А. и др. Паттерны микросервисной архитектуры: многопрофильный обзор литературы // Труды Института системного программирования РАН. 2021. Т. 33, № 1. С. 81-96.

14. Барабанов А., Макрушин Д. Аутентификация и авторизация в микросервисных приложениях: обзор архитектурных подходов. 2020. С. 32-43.

15. Кугушева Д. С. Проектирование сложного программного обеспечения с использованием микросервисной архитектуры. 2020. С. 188-190.

16. Амиров С. Н. Особенности разработки высоконагруженных систем // International Journal of Open Information Technologies. 2020. Т. 8, № 8. С. 3745.

17. Апишев М. А. Эффективные реализации алгоритмов тематического моделирования // Труды Института системного программирования РАН. 2020. Т. 32, № 1. С. 137-152.

18. Болбаков Р. Г., Попов К. С. Высокопроизводительная обработка пространственной информации больших объемов и потоков. 2020. С. 80-88.

19. Белов В. А., Никульчев Е. В. Экспериментальная оценка временной эффективности обработки больших данных в заданных форматах хранения // International Journal of Open Information Technologies. 2021. Т. 9, № 9. С. 95102.

20. Fowler J. W., Mönch L. A survey of scheduling with parallel batch (p-batch) processing // European Journal of Operational Research. 2021.

21. Akidau T. и др. Watermarks in stream processing systems // Proceedings of the VLDB Endowment. 2021. Т. 14, № 12. С. 3135-3147.

22. Nicolae B. Scalable Multi-Versioning Ordered Key-Value Stores with Persistent Memory Support // 2022 IEEE International Parallel and Distributed Processing Symposium (IPDPS). 2022. С. 93-103.

23. Larsson L. и др. Impact of etcd deployment on Kubernetes, Istio, and application performance // Software: Practice and Experience. 2020. Т. 50, № 10. С. 19862007.

24. Grzesik P., Mrozek D. Evaluation of Key-Value Stores for Distributed Locking Purposes // Communications in computer and information science. Springer Science+Business Media, 2019. С. 70-81.

25. Lindsay D. и др. The evolution of distributed computing systems: from fundamental to new frontiers // Computing. 2021. Т. 103.

26. Armbrust M. и др. Above the clouds: A berkeley view of cloud computing. 2009.

27. Диков А. В. Эволюция интернета от начала до наших дней и далее. 2019. С. 3-8.

28. Овсянников И. В., Овсянников А. В., Никоненок В. Г. Эволюция интернет-экосистемы: исследование языков программирования и технологий в мире веб-сервисов. 2024. С. 6-12.

29. Kumar S., Perakis G. A Brief History of the Internet and the World Wide Web // Management and Business Review. 2022. Т. 2, № 1. С. 67-72.

30. Подройко Е. В., Лисецкий Ю. М. Сетевые технологии: эволюция и особенности. 2020. С. 14-29.

31. Cerf V., Kahn R. A Protocol for Packet Network Intercommunication // IEEE Transactions on Communications. 1974. Т. 22, № 5. С. 637-648.

32. Sherry J. L., Bowman N. D. History of the Internet. John Wiley and Sons, 2011. Т. 2. С. 280-293.

33. Федотова Л. Д. Обзор алгоритмов маршрутизации в компьютерных сетях // Актуальные проблемы авиации и космонавтики. 2019. Т. 2. С. 294-296.

34. Wibowo T. A., Syambas N. R. Named data network (NDN) scalability problem. IEEE, 2019.

35. Алпатов А. Н. Развитие распределенных технологий и систем. 2015. С. 6066.

36. O'Leary M. DNS and BIND // Apress eBooks. 2015. С. 139-175.

37. Mockapetris P., Dunlap K. J. Development of the domain name system // Symposium proceedings on Communications architectures and protocols -SIGCOMM '88. 1988.

38. Bertocco M. и др. A client-server architecture for distributed measurement systems // IEEE Transactions on Instrumentation and Measurement. 1998. Т. 47, № 5. С. 1143-1148.

39. Aarsten A., Brugali D., Menga G. Patterns for three-tier client/server applications // Proceedings of Pattern Languages of Programs (PLoP'96). Citeseer, 1996. Т. 4, № 6.

40. Vas S. The Use of the Internet // Peritoneal Dialysis International. SAGE Publishing, 1997. Т. 17, № 2_suppl. С. 138-141.

41. Шинкарев А. А. Ретроспектива развития веб-технологий в создании корпоративных информационных систем // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2020. Т. 20, № 4. С. 14-21.

42. Townes M. The Spread of TCP/IP: How the Internet Became the Internet // Millennium: Journal of International Studies. 2012. Т. 41, № 1. С. 43-64.

43. Wang X., Zhao H., Zhu J. GRPC // Operating Systems Review. Association for Computing Machinery, 1993. Т. 27, № 3. С. 75-86.

44. Vinoski S. CORBA: integrating diverse applications within distributed heterogeneous environments // IEEE Communications Magazine. 1997. Т. 35, № 2. С. 46-55.

45. Remote Method Invocation (RMI) // Springer eBooks. Springer Nature, 2006. С. 136-157.

46. Хородов В. С., Игонин А. Г. Технологии распределённого проектирования. 2014. С. 54-59.

47. Wolczko M. Actors: A model of concurrent computation in distributed systems // Science of Computer Programming. 1988. Т. 10, № 2. С. 212-213.

48. Hewitt C. Actor Model of Computation: Scalable Robust Information Systems [Электронный ресурс] // arXiv.org. 2015. URL: https://doi.org/10.48550/arXiv.1008.1459 (дата обращения: 31.12.2023).

49. Wu Z. и др. The design and implementation of a distributed transaction system based on atomic data types // Distributed Systems Engineering. 1995. Т. 2, № 1. С. 50-64.

50. Снегирев Ю. В., Тутарова В. Д. Анализ механизмов организации параллельных вычислений. 2013. С. 34-44.

51. Кутепов В. П., Ефанов А. А. Параллельные процессы и программы: модели, языки, реализация на системах // Программные продукты и системы. 2020. Т. 33, № 3. С. 375-384.

52. Anderson D. E. и др. SETI@home // Communications of The ACM. Association for Computing Machinery, 2002. Т. 45, № 11. С. 56-61.

53. Заикин О. С. и др. Опыт организации добровольных вычислений на примере проектов OPTIMA@home и SAT@home. 2012. С. 340-347.

54. Якимец В. Н., Курочкин И. И. Развитие проектов добровольных распределенных вычислений на основе дорожных карт и многопараметрических оценок // International Journal of Open Information Technologies. 2020. Т. 8, № 1. С. 1-8.

55. Buford J. F., Yu H., Lua E. K. P2P Networking and Applications. Elsevier BV,

2009.

56. Kim I., Kang Y., Eom Y. I. A survey of peer-to-peer networks. 2005.

57. Montresor A., Meling H., Babaoglu O. Messor: Load-balancing through a swarm of autonomous agents. 2002. С. 125-137.

58. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid. 2003. С. 169-197.

59. Sterling T. и др. BEOWULF: A Parallel Workstation for Scientific Computation. // Proceedings of the International Conference on Parallel Processing. Institute of Electrical and Electronics Engineers, 1995. С. 11-14.

60. Первин А. Ю., Московский А. А. Виртуальные приложения для грид-вычислений. 2008. С. 36-43.

61. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // The International Journal of High Performance Computing Applications. 2021. Т. 15, № 3. С. 200-222.

62. Хашковский В. В., Данилов И. Г. Применение облачных вычислений и GRID-технологий для организации коллективного использования вычислительных ресурсов в научно-исследовательской и учебной работе // Известия Южного федерального университета. Технические науки. 2011. Т. 114, № 1. С.139-144.

63. Бильфельд Н. В. Программа исследования динамики систем управления.

2010. С. 118-120.

64. Gill S. S., Ouyang X., Garraghan P. Tails in the cloud: a survey and taxonomy of straggler management within large-scale cloud data centres // The Journal of Supercomputing. 2020. Т. 76, № 12. С. 10050-10089.

65. Agesen O. и др. The evolution of an x86 virtual machine monitor // ACM SIGOPS Operating Systems Review. 2010. Т. 44, № 4. С. 3-18.

66. Singh S., Chana I. QoS-Aware Autonomic Resource Management in Cloud Computing // ACM Computing Surveys. 2016. Т. 48, № 3. С. 1-46.

67. Leiner B. M. и др. A brief history of the internet // ACM SIGCOMM Computer Communication Review. 2009. Т. 39, № 5. С. 22-31.

68. Gill S. S. и др. Transformative effects of IoT, blockchain and artificial intelligence on cloud computing: Evolution, vision, trends and open challenges // Internet of Things. 2019. Т. 8. С. 100118.

69. Whitmore A., Agarwal A., Xu L. The Internet of Things—A survey of topics and trends // Information Systems Frontiers. 2014. Т. 17.

70. Намиот Д. Е., Куприяновский В. П. Архитектурные модели web3 // International Journal of Open Information Technologies. 2024. Т. 12, № 2. С. 84-95.

71. Wright A., De Filippi P. Decentralized Blockchain Technology and the Rise of Lex Cryptographia // SSRN Electronic Journal. 2015.

72. Benisi N. Z., Aminian M., Javadi B. Blockchain-based decentralized storage networks: A survey // Journal of Network and Computer Applications. 2020. С. 102656.

73. Семенихин В. Н. Различные схемы и подходы к процессам журналирования // Математические структуры и моделирование. 2024. № 1 (69). С. 117-126.

74. Gupta B. Understanding Blockchain Technology: How It Works and What It Can Do // Metaverse Basic and Applied Research. 2022.

75. Gill S. S., Garraghan P., Buyya R. ROUTER: Fog enabled cloud based intelligent resource management approach for smart home IoT devices // Journal of Systems and Software. 2019. Т. 154. С. 125-138.

76. Yousefpour A. и др. All one needs to know about fog computing and related edge computing paradigms: A complete survey // Journal of Systems Architecture. 2019. Т. 98.

77. Brogi A. и др. How to place your apps in the fog: State of the art and open challenges // Software: Practice and Experience. 2020. Т. 50, № 5. С. 719-740.

78. Shi W. и др. Edge Computing: Vision and Challenges // IEEE Internet of Things Journal. 2019. Т. 3, № 5. С. 637-646.

79. Петухова Н. В., Фархадов М. П., Качалов Д. Л. Разгрузка и консолидация вычислительных ресурсов в среде туманных и граничных вычислений. 2020. С. 123-129.

80. Hong C. H., Varghese B. Resource Management in Fog/Edge Computing // ACM Computing Surveys. 2019. Т. 52, № 5. С. 1-37.

81. Кирсанова А. А., Радченко Г. И., Черных А. Н. Обзор технологий организации туманных вычислений // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2020. Т. 9, № 3. С. 35-63.

82. Лоднева О. Н. Аналитический обзор методов построения туманных вычислений // Современные информационные технологии и ИТ-образование. 2020. Т. 16, № 2. С. 358-370.

83. Naha R. K. и др. Fog Computing: Survey of Trends, Architectures, Requirements, and Research Directions // IEEE Access. 2018. Т. 6. С. 4798048009.

84. Bonomi F. и др. Fog computing and its role in the internet of things // Proceedings of the first edition of the MCC workshop on Mobile cloud computing - MCC '12. 2012.

85. Mell P., Grance T. The NIST definition of cloud computing // NIST. 2011.

86. Nieuwenhuis L. J., Ehrenhard M. L., Prause L. The shift to Cloud Computing: The impact of disruptive technology on the enterprise software business ecosystem // Technological Forecasting and Social Change. 2018. Т. 129. С. 308-313.

87. Kaushik P. и др. Cloud Computing and Comparison based on Service and Performance between Amazon AWS, Microsoft Azure, and Google Cloud [Электронный ресурс] // IEEE Xplore. 2021. С. 268-273. URL: https://ieeexplore.ieee.org/abstract/document/9673425 (дата обращения: 31.12.2021).

88. Bhatte N. и др. Comparison of Different Cloud Providers // International journal for research in applied science and engineering technology. International Journal for Research in Applied Science and Engineering Technology (IJRASET), 2022. Т. 10, № 6. С. 651-656.

89. Indu I., Anand P.M. R., Bhaskar V. Identity and access management in cloud environment: Mechanisms and challenges // Engineering Science and Technology, an International Journal. 2018. Т. 21, № 4. С. 574-588.

90. Иламанов Б. Б. Инновации в области облачных вычислений // Вестник науки. 2023. Т. 2, № 12 (69). С. 1201-1206.

91. Merkel D. Docker: Lightweight linux containers for consistent development and deployment // Linux Journal. 2014. Т. 239.

92. Boettiger C. An introduction to Docker for reproducible research // ACM SIGOPS Operating Systems Review. 2015. Т. 49, № 1. С. 71-79.

93. Баранов А. В., Николаев Д. С. Использование контейнерной виртуализации в организации высокопроизводительных вычислений // Программные системы: теория и приложения. 2016. Т. 7, № 1 (28). С. 117-134.

94. Белоножко П. П. и др. Свободные облачные аппаратно-программные платформы. Аналитический обзор // Вестник евразийской науки. 2016. Т. 8, № 6 (37). С. 61.

95. Paraiso F. и др. Model-Driven Management of Docker Containers // 2016 IEEE 9th International Conference on Cloud Computing (CLOUD). 2016.

96. Naik N. Migrating from virtualization to dockerization in the cloud: Simulation and evaluation of distributed systems. 2016. С. 1-8.

97. Гордеев А. В., Горелик Д. В. Сравнительное тестирование контейнерной и гипервизорной виртуализации. 2018. С. 60-66.

98. Фунг В. К. и др. Оценка вероятностно-временных характеристик компьютерной системы с контейнерной виртуализацией // Научно-технический вестник информационных технологий, механики и оптики. 2024. Т. 24, № 2. С.249-255.

99. Al Jawarneh I. M. и др. Container Orchestration Engines: A Thorough Functional and Performance Comparison // ICC 2019 - 2019 IEEE International Conference on Communications (ICC). 2019.

100.Jamshidi P. и др. Microservices: The Journey So Far and Challenges Ahead // IEEE Software. 2018. Т. 35, № 3. С. 24-35.

101.Терских М. Г. Технологии изоляции приложений и инструментальные средства для управления контейнерами. 2017. С. 825-829.

102.Pahl C. и др. Cloud Container Technologies: A State-of-the-Art Review // IEEE Transactions on Cloud Computing. 2019. Т. 7, № 3. С. 677-692.

103.Douglis F., Nieh J. Microservices and Containers // IEEE Internet Computing. 2019. Т. 23, № 6. С. 5-6.

104.Бондаренко А. С., Зайцев К. С. Управление контейнерами при построении распределенных систем с микросервисной архитектурой // International Journal of Open Information Technologies. 2023. Т. 11, № 8. С. 17-23.

105.Sultan S., Ahmad I., Dimitriou T. Container Security: Issues, Challenges, and the Road Ahead // IEEE Access. 2019. Т. 7. С. 52976-52996.

106.Debab R., Hidouci W. K. Containers Runtimes War: A Comparative Study // Advances in intelligent systems and computing. Springer Nature, 2020. С. 135— 161.

107.Nadgowda S. и др. Voyager: Complete Container State Migration. 2017.

108.Hasselbring W. Microservices for Scalability // Proceedings of the 7th ACM/SPEC on International Conference on Performance Engineering - ICPE '16. 2016.

109.0yeniran O. C и др. A comprehensive review of leveraging cloud-native technologies for scalability and resilience in software development // International Journal of Science and Research Archive. 2024. Т. 11, № 2. С. 330337.

110.Lamport L. The part-time parliament // ACM Transactions on Computer Systems. 1998. Т. 16, № 2. С. 133-169.

111. Hao X. и др. Dynamic Practical Byzantine Fault Tolerance. 2018.

112.Guerraoui R. и др. The Next 700 BFT Protocols // ACM Transactions on Computer Systems. 2015. Т. 32, № 4. С. 1-45.

113.Chandra T. D., Griesemer R., Redstone J. Paxos made live // Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing -PODC '07. 2007.

114.Lamport L. Byzantizing Paxos by Refinement. 2011. С. 211-224.

115.Bach L. M., Mihaljevic B., Zagar M. Comparative analysis of blockchain consensus algorithms [Электронный ресурс] // IEEE Xplore. 2018. С. 15451550. URL: https://ieeexplore.ieee.org/abstract/document/8400278.

116. Platt M., McBurney P. Sybil in the Haystack: A Comprehensive Review of Blockchain Consensus Mechanisms in Search of Strong Sybil Attack Resistance // Algorithms. 2023. Т. 16, № 1. С. 34.

117.Anusha K., Rani K. U. Comparative evaluation of big data frameworks on batch processing. 2018.

118.Pufahl L., Weske M. Requirements Framework for Batch Processing in Business Processes // Enterprise, Business-Process and Information Systems Modeling. 2017. С. 85-100.

119.Shahverdi E., Awad A., Sakr S. Big Stream Processing Systems: An Experimental Evaluation [Электронный ресурс] // IEEE Xplore. 2019. С. 5360. URL: https://ieeexplore.ieee.org/abstract/document/8750955/ (дата обращения: 01.01.2022).

120.Sadiq S., Zeebaree S. R. M. Distributed Systems for Machine Learning in Cloud Computing: A Review of Scalable and Efficient Training and Inference // Indonesian Journal of Computer Science. 2024. Т. 13, № 2.

121.Zhang Z. The Analysis of Distributed Computing Systems with Machine Learning. 2023. Т. 10. С. 67-70.

122.Bhathal G. S., Singh A. Big Data Computing with Distributed Computing Frameworks // Lecture Notes in Networks and Systems. 2019. С. 467-477.

123.Kumar A. и др. Replication-Based Query Management for Resource Allocation Using Hadoop and MapReduce over Big Data // Big data mining and analytics. Tsinghua University Press, 2023. Т. 6, № 4. С. 465-477.

124.Tang S. и др. A Survey on Spark Ecosystem: Big Data Processing Infrastructure,

Machine Learning, and Applications (Extended abstract). 2023. 125.Subasi O. и др. The Landscape of Modern Machine Learning: A Review of Machine, Distributed and Federated Learning // arXiv (Cornell University). Cornell University, 2023.

126.Corbellini A. и др. An Analysis of Distributed Programming Models and Frameworks for Large-scale Graph Processing // IETE Journal of Research. 2020. С. 1-9.

127.Yan D. и др. Lightweight Fault Tolerance in Pregel-Like Systems. 2019.

128.Гуляевский С. Е. Системы и подходы для обработки информации, представленной большими динамическими графами // Программные продукты и системы. 2022. Т. 35, № 1. С. 20-27.

129.Kolnogorov A. V. Multi-Armed Bandit Problem and Optimization of MultiAlternative Processing of Big Data. 2020. С. 250-255.

130.Krotov K. V., Skatkov A. V. Optimization of task package execution planning in multi-stage systems under restrictions and the formation of sets // Computer Research and Modeling. Institute of Computer Science, 2021. Т. 13, № 5. С. 917-946.

131.La Lau R. Task Scheduling // Apress eBooks. 2021. С. 175-181. 132.Siqueira F., Cahill V. Quartz: a QoS architecture for open systems // Arrow@dit

(Dublin Institute of Technology). Dublin Institute of Technology, 2002. С. 197204.

133.Prasad S. K. и др. NSF/IEEE-TCPP curriculum initiative on parallel and distributed computing. 2011.

134.Menaka M., Kumar K. S. S. Workflow scheduling in cloud environment -Challenges, tools, limitations & methodologies: A review // Measurement: Sensors. 2022. Т. 24. С. 100436.

135.Hazra D. и др. Distributed Task Scheduling in Cloud Platform: A Survey // Smart innovation, systems and technologies. Springer Nature, 2017. С. 183-191.

136.Salama A. и др. Cost-based Fault-tolerance for Parallel Data Processing. 2015. С.285-297.

137.Gevay G. E. и др. Efficient Control Flow in Dataflow Systems: When Ease-of-Use Meets High Performance // 2022 IEEE 38th International Conference on Data Engineering (ICDE). 2021. С. 1428-1439.

138.Hsu T. C. H. и др. NVthreads. 2017.

139.Sharma R. и др. Priority-based joint EDF-RM scheduling algorithm for individual real-time task on distributed systems // The Journal of Supercomputing. 2020. Т. 77, № 1. С. 890-908. 140.Sharma A., Aakanksha. Task scheduling in cloud: A literature review // International Journal of Trend in Research and Development (IJTRD). 2017. Т. 4, № 2.

141.Sharma P. и др. A Survey On Various Types Of Task Scheduling Algorithm In Cloud Computing Environment // International journal of scientific and technology research. IJSTR, 2020. Т. 9, № 1. С. 1513-1521.

142.Matrouk K., Alatoun K. Scheduling Algorithms in Fog Computing: A Survey // International Journal of Networked and Distributed Computing. 2021. Т. 9, № 1. С. 59-74.

143.Nallakumar R., Sengottaiyan N., Priya K. S. A Survey on Scheduling and the Attributes of Task Scheduling in the Cloud // IJARCCE. 2014. С. 8167-8171.

144.Lipsa S. и др. Task Scheduling in Cloud Computing: A Priority-Based Heuristic Approach // IEEE Access. Institute of Electrical and Electronics Engineers (IEEE), 2023. Т. 11. С. 27111-27126.

145.Семенистый С. А., Сельвесюк Н. И., Платошин Г. А. Применение машинного обучения при планировании рабочих процессов в распределенных вычислительных системах. 2022. С. 241-245.

146.Tuor T. и др. Online Collection and Forecasting of Resource Utilization in Large-Scale Distributed Systems // Spiral (Imperial College London). Imperial College London, 2019.

147.Matijasevic T., Antic T., Capuder T. A systematic review of machine learning applications in the operation of smart distribution systems // Energy Reports. Elsevier BV, 2022. Т. 8. С. 12379-12407.

148.Gontarska K. и др. Evaluation of Load Prediction Techniques for Distributed Stream Processing // arXiv (Cornell University). Cornell University, 2021. Т. 29. С. 91-98.

149.Fekri M. N., Grolinger K., Mir S. Distributed load forecasting using smart meter data: Federated learning with Recurrent Neural Networks // International Journal of Electrical Power & Energy Systems. 2021. С. 107669.

150.Kotu V., Deshpande B. Data science : concepts and practice. Morgan Kaufmann Publishers, 2019.

151.Dinesh C. S., Ram M. Computational Intelligence-based Time Series Analysis. CRC Press, 2022.

152.Квонг С. В., Щербаков М. В. Прогнозирование отказов сложных многообъектных систем на основе комбинации нейросетей: пути повышения точности прогнозирования. 2020. С. 49-60.

153.Тузов А. В. Исследование возможности использования линейной регрессии для предсказания расхода памяти в высоконагруженной информационной системе // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2018. Т. 18, № 3. С. 5-11.

154.Кучерова К. Н. Прогнозирование ресурсов облачных сервисов на основе мониторинговой системы с открытым кодом // Труды учебных заведений связи. 2020. Т. 6, № 3. С. 100-106.

155.Чирков И. А., Дунаев М. Е. Исследование возможностей нейронных сетей для прогнозирования показателей функционирования брокеров сообщений технологических платформ // International Journal of Open Information Technologies. 2021. Т. 9, № 8. С. 36-42.

156.Осипов В. Ю., Милосердов Д. И. Нейросетевое прогнозирование событий для роботов с непрерывным обучением. 2020. С. 33-42.

157.Yang B. и др. Traffic flow prediction using LSTM with feature enhancement // Neurocomputing. 2019. Т. 332. С. 320-327.

158.Ekiz D., Can Y. S., Ersoy C. Long Short-Term Memory Network Based Unobtrusive Workload Monitoring With Consumer Grade Smartwatches // IEEE Transactions on Affective Computing. Institute of Electrical and Electronics Engineers, 2021. Т. 14, № 2. С. 895-905.

159.Janardhanan D., Barrett E. CPU workload forecasting of machines in data centers using LSTM recurrent neural networks and ARIMA models // IEEE Conference Proceedings. 2017. Т. 2017. С. 55-60.

160.Tang X. Large-Scale Computing Systems Workload Prediction Using Parallel Improved LSTM Neural Network // IEEE Access. 2019. Т. 7. С. 40525-40533.

161.Bi J. и др. Integrated Deep Learning Method for Workload and Resource Prediction in Cloud Systems // Neurocomputing. 2020.

162.Hilman M. H., Rodriguez M. A., Buyya R. Task Runtime Prediction in Scientific Workflows Using an Online Incremental Learning Approach // arXiv (Cornell University). Cornell University, 2018.

163.Kreps J. Kafka: a distributed messaging system for log processing. 2011.

164.John V., Liu X. A survey of distributed message broker queues // ArXiv. 2017. Т. abs/1704.00411.

165.Catovic A., Buzadija N., Lemes S. Microservice development using RabbitMQ message broker // Science, Engineering and Technology. 2022. Т. 2, № 1. С. 3037.

166.Kaciuczyk T., Korga T., Smolka J. Functional and performance analysis of selected message brokers in a distributed application // Journal of Computer Sciences Institute. Lublin University of Technology, 2020. Т. 14. С. 19-25.

167.Li J., Michael E. Eris: Coordination-free consistent transactions using in-network concurrency control. Association for Computing Machinery, 2017. С. 104-120.

168.Abdelhafiz B. M., Elhadef M. Sharding Database for Fault Tolerance and Scalability of Data [Электронный ресурс] // IEEE Xplore. 2021. С. 17-24. URL: https://ieeexplore.ieee.org/abstract/document/9357711/.

169.Dhulavvagol P. M., Bhajantri V. H., Totad S. G. Performance Analysis of Distributed Processing System using Shard Selection Techniques on Elasticsearch // Procedia Computer Science. 2020. Т. 167. С. 1626-1635.

170.Dua R., Raja A. R., Kakadia D. Virtualization vs Containerization to Support PaaS // 2014 IEEE International Conference on Cloud Engineering. 2014.

171.Rossi F. и др. Geo-distributed efficient deployment of containers with Kubernetes // Computer Communications. 2020. Т. 159. С. 161-174.

172.Both D. Network Time Protocol // Using and Administering Linux: Volume 3. 2019. С. 327-344.

173.Bolanowski M. и др. Eficiency of REST and gRPC Realizing Communication Tasks in Microservice-Based Ecosystems // Frontiers in artificial intelligence and applications. 2022.

174.Economic savings for scientific free and open source technology: A review // HardwareX. 2020. Т. 8. С. e00139.

175.etcd versus other key-value stores [Электронный ресурс] // etcd. 2021. URL: https://etcd.io/docs/v3.3/learning/why/ (дата обращения: 01.01.2024).

176.Ben-David N., Blelloch G. E. Fast and Fair Lock-Free Locks [Электронный ресурс] // arXiv.org. 2021. URL: https://www.semanticscholar.org/paper/Fast-and-Fair-Lock-Free-Locks-Ben-David-Blelloch/

c46e2e979973a438851f1d751a1988b4bf89abd4 (дата обращения: 01.01.2024).

177.Bottcher J. и др. Scalable and robust latches for database systems // Zenodo (CERN European Organization for Nuclear Research). European Organization for Nuclear Research, 2020.

178.Zeynally T., Demidov D. Fault Tolerance of Distributed Worker Processes in Corporate Information Systems and Technologies // Communications in computer and information science. Springer Science+Business Media, 2022. С. 32-41.

179.Zeynally T., Demidov D. Evaluation of the Efficiency of Fault Tolerance Algorithms for Distributed Peer-To-Peer Worker Processes Connected Through a Key-Value Store // Communications in computer and information science. Springer Science+Business Media, 2023. С. 87-98.

180.Зейналлы Т. Э. Сравнительный анализ решений на базе .NET для итерационного выполнения задач в распределенных отказоустойчивых системах // International Journal of Open Information Technologies. 2024. Т. 12, № 6. С. 120-127.

181.Urban P., Defago X., Schiper A. Chasing the FLP impossibility result in a LAN: or, How robust can a fault tolerant server be? // Infoscience (Ecole Polytechnique Fédérale de Lausanne). 2002. С. 190-193.

182.Guerraoui R., Pavlovic M., Seredinschi D. A. Trade-offs in replicated systems // IEEE Data Eng. Bull. 2016. Т. 39. С. 14-26.

183.Lee E. A и др. Consistency vs. Availability in Distributed Cyber-Physical Systems // ACM Transactions in Embedded Computing Systems. Association for Computing Machinery, 2023. Т. 22, № 5s. С. 1-24.

184.Abadi D. Consistency Tradeoffs in Modern Distributed Database System Design: CAP is Only Part of the Story // Computer. 2012. Т. 45, № 2. С. 37-42.

185.Zeynally T., Demidov D., Dimitrov L. Prioritization of Distributed Worker Processes Based on Etcd Locks // Communications in computer and information science. Springer Science+Business Media, 2022. С. 93-103.

186.Vijayalakshmi M., Minu R. I. Incremental load processing on ETL system through cloud. 2022. С. 1-4.

187.Зейналлы Т. Э., Демидов Д. Г. Прогнозирование нагрузки с использованием рекуррентных нейронных сетей для определения приоритета узла распределенной системы // Вестник РГРТУ. 2024. Т. 90. С. 54-66.

188.Jajal P. и др. Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem // arXiv (Cornell University). Cornell University, 2023.

189.Плескунов М. А. Теория массового обслуживания: учебное пособие / под ред. Сесекин А Н. Издательство Уральского университета, 2022.

190.Белый Е. К. Введение в теорию массового обслуживания: учебное пособие для студентов, обучающихся по направлению «Информационные системы и технологии». Издательство ПетрГУ, 2014. 76 с.

191. Shortle J. F. и др. Fundamentals of queueing theory. J. Wiley & Sons. C, 2018.

192.Harchol-Balter M. Performance Modeling and Design of Computer Systems. 2013.

193.Duc V. N. и др. Temporal clustering effects in the network traffic evaluated by queueing system performance. 2016. С. 370-372.

194.Черкесов Г. Н. Надежность аппаратно-программных комплексов. Учебное пособие. Питер, 2005. 479 с.

195.Trivedi K. S. Probability and Statistics with Reliability, Queuing, and Computer Science Applications. John Wiley & Sons, 2016.

196.Викторова В. С., Степанянц А. С. Модели и методы расчета надежности технических систем. URSS, 2014. 254 с.

197.Стрельников В. П., Барзик Е. В., Пантелеева Е. С. Анализ методик расчета безотказности избыточных систем // Математические машины и системы. Институт проблем математических машин и систем Национальной академии наук Украины, 2005. № 2.

198.Meyers A., Yang H. Markov Chains for Fault-Tolerance Modeling of Stochastic Networks // IEEE Transactions on Automation Science and Engineering. Institute of Electrical and Electronics Engineers, 2021. Т. 19, № 3. С. 2591-2606.

199.Aggarwal V. Reliability of k-out-of-n Data Storage System with Deterministic Parallel and Serial Repair // arXiv (Cornell University). Cornell University, 2016.

200.Rykov V., Ivanova N., Kozyrev D. Application of Decomposable SemiRegenerative Processes to the Study of k-out-of-n Systems // Mathematics. Multidisciplinary Digital Publishing Institute, 2021. Т. 9, № 16. С. 1933-1933.

201.Nadeem F., Prodan R., Fahringer T. Characterizing, Modeling and Predicting Dynamic Resource Availability in a Large Scale Multi-purpose Grid. 2008. С. 348-357.

202.Birke R. и др. Failure Analysis of Virtual and Physical Machines: Patterns, Causes and Characteristics. 2014.

203.Vishwanath K. V., Nagappan N. Characterizing cloud computing hardware reliability // Proceedings of the 1st ACM symposium on Cloud computing -SoCC '10. 2010.

204.Tola B., Jiang Y., Helvik B. E. Failure process characteristics of cloud-enabled services // BIBSYS Brage (BIBSYS (Norway)). Vilnius University, 2017. С. 17.

205.Rood B., Lewis M. J. Multi-state grid resource availability characterization // CiteSeer X (The Pennsylvania State University). Pennsylvania State University, 2007. С. 42-49.

206.Javadi B. и др. Discovering Statistical Models of Availability in Large Distributed Systems: An Empirical Study of SETI@home // IEEE Transactions on Parallel and Distributed Systems. 2011. Т. 22, № 11. С. 1896-1903.

207.Общие сведения об обновлениях для системы безопасности, устанавливаемых без перезапуска [Электронный ресурс] // Microsoft.com. URL: https://support.microsoft.com/en-gb/topic/understanding-security-updates-that-get-installed-without-a-restart-b122787e-9a54-48c3-8a7a-6e3b23ee05d6 (дата обращения: 31.12.2024).

208.lukaszlach. GitHub - lukaszlach/docker-tc: :whale: Docker Traffic Control -network rate limiting, emulating delays, losses, duplicates, corrupts and reorders of network packets using only container labels or a command-line interface. [Электронный ресурс] // GitHub. 2019. URL:

https://github.com/lukaszlach/docker-tc (дата обращения: 01.01.2024).

209.Sliwa M., Panczyk B. Performance comparison of programming interfaces on the example of REST API, GraphQL and gRPC // Journal of Computer Sciences Institute. 2021. Т. 21. С. 356-361.

210.Lamport L. Specifying systems: The TLA+ language and tools for hardware and software engineers. Addison-Wesley Longman Publishing Co., Inc., 2002.

211.Tadayon T. Time synchronization in distributed systems without a central clock. 2019.

212.Etcd Tuning [Электронный ресурс] // etcd. 2021. URL: https://etcd.io/docs/v3.4/tuning/ (дата обращения: 01.01.2023).

213.Postel J. Transmission Control Protocol. 1981.

214.Troelsen A., Japikse P. Introducing C# and .NET (Core) 5 // Apress eBooks. 2021. С. 3-26.

215.Schuszter I. C., Cioca M. An implementation of a fault-tolerant database system using the actor model // MATEC Web of Conferences. EDP Sciences, 2021. Т. 342. С.05001-05001.

216.Natanzon A., Bachmat E. Dynamic Synchronous/Asynchronous Replication // ACM Transactions on Storage. 2013. Т. 9, № 3. С. 1-19.

217.HangfireIO/Hangfire [Электронный ресурс] // GitHub. 2024. URL: https://github.com/HangfireIO/Hangfire (дата обращения: 01.01.2024).

218.Docker overview [Электронный ресурс] // Docker Documentation. 2024. URL: https://docs.docker.com/get-started/overview/ (дата обращения: 01.01.2024).

219.influxdata. telegraf/plugins/inputs/docker/README.md at master ■ influxdata/telegraf [Электронный ресурс] // GitHub. 2024. URL: https://github.com/influxdata/telegraf/blob/master/plugins/inputs/docker/ README.md (дата обращения: 01.01.2024).

220.InfluxDB key concepts | InfluxDB OSS v1 Documentation [Электронный ресурс] // docs.influxdata.com. 2024. URL: https: / / docs.influxdata.com/influxdb/v1/ concepts/key_concepts/ (дата обраще -ния: 01.01.2024).

221.DateTimeOffset.Ticks Property (System) [Электронный ресурс] // Microsoft.com. 2024. URL:

https://learn.microsoft.com/en-us/dotnet/api/system.datetimeoffset.ticks? view=net-7.0 (дата обращения: 01.01.2024).

222.Зейналлы Т. Э., Демидов Д. Г. Оценка масштабируемости распределенных систем на основе алгоритмов итерационного выполнения задач с координацией через хранилище ключ-значение // Программная инженерия. 2024. Т. 15, № 12. С. 611-622.

223.Gibadullin R. F. Thread-safe Control Calls in Enriched Client Applications // Программные системы и вычислительные методы. Aurora Group s.r.o., 2022. № 4. С. 1-19.

224.FAQ [Электронный ресурс] // etcd. 2024. URL: https://etcd.io/docs/v3.4/faq/ (дата обращения: 01.01.2024).

Приложение A. Блок-схемы алгоритмов координации с за хватом блокировки на каждый запуск задачи

rl (сокр. retry limit) - временная точка до которой будут выполнятся повторы (в случае ошибки)

се (сокр. cron expression) - выражение сгоп (из конфигурации) nd - следующая дата по расписанию next_date() - функция расчёта сл. даты get_n() - функция получения индекса запуска

8

Рисунок А.1. Блок-схема алгоритма координации с захватом блокировки на каждый запуск задачи по расписанию сгоП;аЪ.

захват блокировки

> г

пс! = пех1_сМе(йу)

0

- операция с хранилищем

получение успешности выполнения(п -1)

А - пока узел не остановлен

X

"¡1л/ - интервал (из конфигурации) пс1 - следующая дата по расписанию пех^а!е() - функция расчёта сл. даты 9е*_п() - функция получения индекса запуска

0

выполнение полезной нагрузки

ожидание по расписанию

-нет

сохранение успешности выполнения (п -1)

0

освобождение блокировки

0

Рисунок А.2. Блок-схема алгоритма координации с захватом блокировки на каждый запуск задачи по рекурентному расписанию.

захват блокировки

> 1

wdVo

> 1

получение данных о нагрузке (wi)

0

- операция с хранилищем

d (сокр. delay) - задержка между запусками

wd (сокр. workload delay) - задержка по данным нагрузки

8

wi (сокр. workload information) - данные о нагрузке

calculate() - функция расчёта задержки по данным расписания wi.ed (сокр. execution date) - момент запуска полезной нагрузки wi.e (сокр. elapsed) - продолжительность выполнения полезной нагрузки

е start - момент начала выполнения

выполнение полезной нагрузки, получение wl

elapsed = сейчас - e start

wi.err = wl не имеет значения

обновление данных о

d = calculate^, wi)

wl (сокр. workload) - нагрузка

elapsed - продолжительность выполнения

обновление данных о нагрузке

wi.ld (сокр. last delay) - задержка

wi.err (сокр. error) - маркер успешности выполнения

wi.wl (сокр. workload) - нагрузка

8

освобождение блокировки

задержка на d

8

Рисунок А.3. Блок-схема алгоритма координации с захватом блокировки на каждый запуск задачи по нагрузочно-зависимому расписанию.

Приложение Б. Блок-схемы алгоритмов координации с захватом блокировки на серию запусков задачи

"се (сокр. cron expression) - выражение cran (из конфигурации) nd - следующая дата по расписанию next_date() - функция расчёта сл. даты

- е

операция с хранилищем

I fi (сокр. first iteration) - маркер первого запуска

I_«

_st (сокр. start timestamp) - момент старта цикла серии запусков

get_n п - но

() - функция получения индекса запуска номер (индекс) запуска

выполнение полезной нагрузки

сохранение успешности выполнения п

г

ожидание до nd

е

Рисунок Б.1. Блок-схема алгоритма координации с захватом блокировки на серию запусков задачи по расписанию сгоПаЬ.

- операция с хранилищем

fi (сокр. first iteration) - маркер первого запуска в серии _st (сокр. start timestamp) - момент старта серии запусков

~itv - интервал (из конфигурации) nd - следующая дата по расписанию next_date() - функция расчёта сл. даты get_n() - функция получения индекса запуска

выполнение полезной нагрузки

<нет

-нет-^

0

сохранение успешности выполнения п

ожидание до nd

8

Рисунок Б.2. Блок-схема алгоритма координации с захватом блокировки на серию запусков задачи по рекурентному расписанию.

А - пока узел не •V остановлен

8

- операция с хранилищем

—wi (сокр. workload information) - данные о нагрузке d (сокр. delay) - задержка между запусками wd (сокр. workload delay) - задержка по данным нагрузки _st (сокр. start timestamp) - момент старта серии запусков

"wi (сокр. workload information) - данные о нагрузке —calculateQ - функция расчёта задержки по данным расписания

Т wi.ed (сокр. execution date) - момент запуска полезной нагрузки __I Lwi.e (сокр. elapsed) - продолжительность выполнения полезной нагрузки

е start - момент начала выполнения

wl (сокр. workload) - нагрузка

elapsed = сейчас - e_start I—Relapsed - продолжительность выполнения

обновление данных о нагрузке

wi.ld (сокр. last delay) - задержка

wi.err (сокр. error) - маркер успешности выполнения

wi.wl (сокр. workload) - нагрузка

N = сейчас +

d - st < лимита |—| li (сокр. last iteratiom) - последний запуск в серии

8

Рисунок Б.3. Блок-схема алгоритма координации с захватом блокировки на серию запусков задачи по нагрузочно-зависимому расписанию.

Приложение В. Обобщённые блок-схемы алгоритмов коорди нации с балансировкой задач по узлам

Рисунок В.1. Блок-схема алгоритма обновления состояния приоритетов

сброс приоритета

успешности

освобождение блокировки

Рисунок В.2. Обобщённая блок-схема алгоритма координации с захватом блокировки на каждый запуск задачи с операциями балансировки задач.

Рисунок В.3. Обобщённая блок-схема алгоритмов координации с захватом блокировки на серию запусков задачи с операциями балансировки задач.

Приложение Г. Свидетельства о государственной регистрации программ для ЭВМ

Приложение Д. Акты о внедрении результатов диссертации

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕ! ШОЕ АВТОНОМНОЕ ОЕРАЮВАТЕЛЫ ЮЕ УЧРЕЖДЕН!IE B1.ICU 1ЕТО ОВРЛЭОВАНИЯ

«МОСКОВСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

Зейналлы Теймура Эйюб оглы на тему «Координация периодического выполнения задач в распределённых системах обработки данных через хранилище ключ-значение», представленной на соискание ученой степени кандидата технических наук по специальности 2.3.5. Математическое и

программное обеспечение вычислительных систем, комплексов и компьютерных сетей

Мы, нижеподписавшиеся директор Департамента по образовательной политике А.Б. Максимов, декан факультета Информационных технологий Д.Г. Демидов, заведующий кафедрой «Информатика и информационные технологии» Е.В. Булатников, составили настоящий акт в том, что результаты диссертационной работы по теме «Координация периодического выполнения задач в распределённых системах обработки данных через хранилище ключ-значение» имеют как теоретическую, так и практическую значимость для учебного процесса и внедрены в учебный процесс Московского политехнического университета по направлениям подготовки 09.03.02 «Информационные системы и технологии» (дисциплина «Проектирование интеграционных решений»), 09.04.02 «Информационные системы и технологии» (дисциплина «Методы исследования и моделирования информационных процессов»). В учебном процессе нашли отражения следующие методики:

• координации выполнения периодических задач в распределённых системах обработки данных, основанная на применении хранилища ключ-значение. Реализация методики предусматривает динамическое масштабирование, выполнение задач при частичной недоступности узлов и низкие координационные накладные расходы. Программная реализация выполнена для платформы .NET в виде динамически подключаемой библиотеки

• балансировки задач между узлами распределённой системы без использования центрального планировщика, обеспечивающая одноранговость системы, необходимую для динамического масштабирования. Реализация выполнена в виде динамически подключаемой библиотеки для платформы .NET.

• проведения экспериментальных исследований, ориентированная на оценку зависимости характеристик распределённых систем обработки данных от количества узлов, а также от сетевых и инфраструктурных сбоев. Методика включает эмуляцию сетевых и аппаратных ограничений, проведение замеров показателей производительности и масштабируемости, а также статистический анализ полученных данных.

Кафедра, внедрившая результаты: кафедра «Информатика и информационные технологии».

Дата и номер протокола заседания кафедры, на котором рассмотрены результаты внедрения

22.09.2025 №2.

Начало использования объекта внедрения: осенний семестр 2025-2026 учебного года.

Директор Департамента по образовательной политике

Декан факультета Информационных технологий

Заведующий кафедрой «Информатика и Информационные технологии»

каэрегеку

АО «Лаборатория Кэсперского» Россия, Москва, 125212 Ленинградской шоссе, д 39А. стр, 2

[phone] [Ю

www.kaspersky.com

www.securelist.com

АКТ

о внедрении результатов диссертационной работы Зейналлы Тсймура Эйюб оглы по специальности 2.3.5 - Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей «Координация периодического выполнения задач в распределённых системах обработки данных через Хранилище ключ-значение»

Настоящим удостоверяется, что в отдельных производственных процессах в АО Лаборатория Касперскога внедрены следующие результаты диссертационного исследования Зейналлы Т. Э.:

1. Программно подключаемая библиотека для планирования и выполнения периодических задач в распределённых системах обработки данных, реализующая различные стратегии планирования (рекуррентное, стопГаЬ, нагрузочно-зависимое).

2. Программно подключаемая библиотека для координации выполнения периодических задач на основе хранилища ключ-значение, обеспечивающая синхронизацию запуска задач между узлами распределённой системы, долгосрочное хранение состояния запусков, масштабируемость системы по количеству узлов и устойчивость системы к выходу из строя Отдельных узлов.

3. Программно подключаемая библиотека для балансировки задач между узлами распределённой системы без использования центрального планировщика, предусматривающая учёт загрузки вычислительных ресурсов и успешности выполнения задач.

Настоящий акт не является основанием для взаимных финансовых

расчётов.

Руководитель управления но разработке ИТ сервисов

ДО «Лаборатории Касперского»