Масштабируемые подходы и алгоритмы к управлению мастер-данными тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Кузнецов Сергей Викторович

• Кузнецов Сергей Викторович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Кузнецов Сергей Викторович

Введение

Глава 1. Обзор

1.1 Субоптимальные задачи и перечислители

1.2 Управление мастер-данными

1.3 MDM-инструменты

1.4 Методы внедрения MDM

1.5 Выводы

Глава 2. Масштабирование субоптимальных задач

2.1 Концепция субоптимальных задач дискретной оптимизации

2.2 Операции над субоптимальными задачами и их перечислителями

2.3 Граница Парето и суммирование двух перечислителей

2.4 Обобщённый алгоритм суммирования перечислителей

2.5 Перечислители в управлении мастер-данными

2.6 Выводы

Глава 3. Функциональная MDM-модель

3.1 Итеративная MDM-стратегия и концепция MDM-решения

3.2 Обзор модели

3.3 Описание модели

3.3.1 Инвентаризация данных

3.3.2 Организация доступа к источникам данных

3.3.3 Очистка данных

3.3.4 Обогащение данных

3.3.5 Логическая модель

3.3.6 Консолидация данных

3.3.7 Классификация и иерархизация данных

3.3.8 Права доступа к данным

3.3.9 Пакетная выгрузка

3.3.10 Подписочная модель доступа

3.3.11 Режим реального времени

3.4 Выводы

Глава 4. Компонентная архитектура открытой MDM-технологии

4.1 Обзор архитектуры технологии

4.2 Детальное описание

4.2.1 Ядро технологии

4.2.2 Хранение данных

4.2.3 Базовая МОМ-функциональность

4.2.4 Дополнительная МОМ-функциональность

4.3 Выводы

Глава 5. Индустриальное исследование

5.1 Описание индустриальных проектов

5.2 Экспериментальное исследование функциональной МОМ-модели

5.3 Экспериментальное исследование компонентной архитектуры

5.4 Выводы

Глава 6. Сравнение и соотнесения

6.1 Итеративная МОМ-модель и концепция МОМ-решения

6.2 Масштабирование субоптимальных задач и сложение перечислителей

6.3 Функциональная МОМ-модель

6.4 Открытая компонентная архитектура МОМ-технологии

6.5 Выводы

Заключение

Литература

Введение диссертации (часть автореферата) на тему «Масштабируемые подходы и алгоритмы к управлению мастер-данными»

Введение

Актуальность работы. Математические задачи по оптимизации различных ресурсов активно изучались в Петербургской математической школе со времён Л.В. Канторовича [13]. В конце 90-х годов его ученик, проф. Санкт-Петербургского университета, И.В. Романовский предложил идею процессов-перечислителей решений субоптимальных задач дискретной оптимизации [34], [35]. Субоптимальные задачи активно применяются в современных информационных системах, поскольку во многих алгоритмах, используемых на практике, требуется найти не только лучшее (оптимальное) решение, а к лучших решений, для которых целевая функция упорядочена по степени деградации. Субоптимальные задачи находят применение в различных областях: при оценке рисков [8], в управлении производством [31], в системах поддержки принятия решений [14], [93], а также в телекоммуникациях [95] и управлении данными в информационных системах [18]. Дальнейшее исследование субоптимальных задач, в частности, их масштабирование путём формальных операций над перечислителями их решений, намеченное в работах И.В. Романовского, является актуальной темой исследования.

Переход к цифровой экономике предъявляет особые требования к управлению данными в больших организациях - необходимо, чтобы эта дисциплина была столь же повсеместно используема, как, например, бухгалтерия [86]. Управление данными (data management) - область знания и вид практической деятельности, нацеленные на создание, стандартизацию, внедрение и осуществление практик, стратегий и норм работы с данными в больших контекстах - крупных компаниях, отраслях промышленности и бизнеса, правительственных структурах и так далее [18], [49], [61], [86]. В этой сфере имеются сообщества и стандарты, например, DAMA [60], [61] и EDM Council [64], а также значительное количество промышленных решений [122]. Существенной частью управления данными является управление мастер-данными.

Эффективность принятия управленческих решений зависит от полноты, согласованности и непротиворечивости данных компании, зачастую, содержащихся в различных информационных системах [61]. Разночтения и противоречия в данных порождают задержки в принятии решений, коллизии показателей, финансовые и имиджевые потери организации. При этом очевидно, что поддержание и целостности всех данных крупной организации является очень сложной и фактически, невыполнимой задачей, так как число эксплуатируемых информационных систем может исчисляться сотнями, а объём данных, распределённых по этим системам - миллионами записей. Но критически важная часть данных организации (например, данные о субподрядчиках, каталоги продукции) нуждается в унификации и централизованной поддержке. Такие данные, консолидированные, выверенные и полные, принято называть мастер-данными (master data), а процесс их актуализации и сопровождения - управлением мастер-данными (master data management, MDM) [61], [77].

Несмотря на активное развитие MDM в последние два десятилетия, вопрос с его внедрением нельзя назвать решённым. Полномасштабное внедрение MDM в рамках всей организации стоит очень дорого и часто не решает реальные потребности организации. Требуются различные гибкие стратегии внедрения, и одним из ключевых вопросов здесь является масштабируемость MDM-решений - возможность выбора наиболее критичных бизнес-данных, учёт мотиваций и потребностей компании, гибкие программные архитектуры базовых MDM-инструментов и возможность собирать решения критических задач из менее крупных (в разных смыслах) частей. В целом, речь идёт о возможности двигаться от малого и простого к сложному, максимально учитывая текущие потребности компании.

Отметим важность масштабируемости MDM-инструментов - как с точки зрения производительности, используя, например, облачные вычисления, так и с точки зрения подбора (tailoring) нужного функционала. Последнее важно,

поскольку монолитные МОМ-инструменты потребляют значительные ресурсы. Кроме того, важно уметь гибко и точно настраивать и надстраивать исходные инструменты под особенности целевых компаний. Всё это делает актуальным создание компонентных архитектур МОМ-инструментов, а также обеспечение открытости их исходного кода.

Концепция процессов-перечислителей решений субоптимальных задач дискретной оптимизации И.В. Романовского [34] оказывается актуальной в контексте масштабирования МОМ, поскольку субоптимальные задачи часто возникают в компании после появления консолидированных и целостных мастер-данных. Следует отметить, что подобные задачи можно решать по частям, разбивая на несколько технических доменов, что позволяет снизить трудоёмкость создания и ряд других сложностных характеристик итогового решения. Формальные операции над перечислителями - различные варианты сложения, слияния и их композиции - открывают интересные возможности масштабирования субоптимальных задач в области МОМ. При этом важным оказывается создание эффективных алгоритмов вычисления итоговых перечислителей.

Таким образом, парадигма масштабирования в области МОМ оказывается актуальной: при создании алгоритмов обработки мастер-данных,

использующих субоптимальные задачи, (и) для создания гибких компонентных архитектур МОМ-инструментов, (ш) на уровне организации внедрения МОМ в компании и реализация МОМ-проектов.

Степень проработанности темы. В 70-90-е годы тема перебора субоптимальных решений поднималась в литературе и предлагались частичные идеи [90], [95]. Однако именно И.В. Романовский ввёл понятие перечислителя и сформулировал набор формальных операций над перечислителями. Вместе с тем концепция перечислителя, а также предложенные операции были введены неформально и ориентировались на использование в рамках отдельных конкретных экстремальных задач. Также

были опущены вопросы создания эффективных алгоритмов вычисления перечислителей, полученных в результате формальных композиционных операций.

Первые исследования в области управления мастер-данными появились в начале 2000-х годов. Они предлагали различные сценарии консолидации данных1, при этом преимущественно рассматривая данные о клиентах и продуктах компаний [50], [87], [92]. Параллельно стали появляться индустриальные решения отдельных MDM-задач - консолидация данных организации, профилирование2 (data profiling), транспортировка данных3, обеспечение качества данных4 (data quality) и некоторые другие. Это привело к значительному росту сегмента управления корпоративными данными в бизнесе и производстве (enterprise data management, EDM), центральную роль начинает играть MDM.

К настоящему времени в области MDM существует обширный спектр стратегий и методов [61], [57], [83], [101], [102], а также готовых программных инструментов (MDM-инструментов), созданных такими компаниями как IBM, Oracle, Informatica и другие (см. обзор [122]). Существующие инструменты обладают обширными функциональными возможностями и открытыми программными интерфейсами, однако их архитектура является «монолитной», и поэтому они имеют проблемы с масштабируемостью. В частности, при размещении MDM-решения в облачной инфраструктуре выполняется его полная инсталляция. Также исходный код MDM-инструментов является закрытым, в том числе в силу того, что, будучи открытым, он окажется непрост для изменений, поскольку MDM-технологии

1 Консолидация данных (consolidated data integration, CDI) - это процедура объединения данных из различных информационных источников для получения единого и непротиворечивого набора данных [63].

2 Профилирование данных - это процесс исследования и анализа данных для выяснения их особенностей и характеристик, включая статистические метрики, типы данных и типовые значения и пр. [99].

3 Транспортировка данных подразумевает процесс передачи информации между различными информационными системами, которые принято называть источниками данных (откуда передается информация) и получателями/приемниками данных (куда информация передается) [68].

4 Обеспечение качества данных - процесс устранения противоречий и ошибок в данных организации для возможности эффективного использования в её бизнес-процессах, а также при принятии решений [91], [112].

крупных производителей обычно составлены из других готовых продуктов, как правило, появившихся после поглощения соответствующих компаний, а те, в свою очередь, созданы с помощью самых разных средств разработки и языков программирования. Имеющиеся открытые компонентные МОМ-проекты Talend [118], Egeria [67], Ртсоге [111], AtroCore [46], Fuyuko [69] либо не являются одновременно и открытыми, и компонентными, либо имеют незначительную поддержку МОМ, либо не поддерживаются на настоящий момент.

В российском исследовательско-производственном сообществе мастер-данные рассматриваются, главным образом, в виде нормативно-справочных данных [2], [3], [10], [30], [41], [43]. Однако последние оказываются, практически, неизменными, в то время как мастер-данные склонны постоянно меняться, требуя решения задачи доставки обновлённых данных потребителям. Кроме того, процесс формирования мастер-данных оказывается более сложным, чем нормативно-справочных данных, подразумевая использование различных источников, создание и поддержание новых объектов, схем и иерархий. Отметим, что российские исследователи также рассматривают управление мастер-данными в контексте других задач управления данными [26], [27]; кроме этого имеются работы, описывающие эксперименты с конкретными технологиями [5] , [37], отдельные отраслевые внедрения [2], [9], [10], [43], высокоуровневые подходы [28], [38]. Наконец, имеется ряд работ, незначительно затрагивающих вопросы масштабирования МОМ [3], [26], [37]. Однако все эти исследования не предлагают комплексных подходов к масштабированию внедрения МОМ.

Итак, можно сделать вывод, что в контексте создания систем управления данными важной оказывается концепция перечислителей решений субоптимальных задач дискретной оптимизации. Здесь, в свою очередь, открытой является проблема формализации этой концепции, предложение эффективного алгоритма суммирования произвольного числа перечислителей,

а исследование других вариантов композиции исходных перечислителей, и применение этого аппарата для декомпозиции MDM-задач. В области MDM актуальным является создание новых моделей и архитектур для масштабирования и гибкого внедрения MDM в различные организации и учреждения.

Целью данной работы является исследование вопросов масштабирования MDM-задач на алгоритмическом, архитектурном и методологическом уровнях. Для достижения этой цели были выделены следующие задачи.

1. Исследовать вопросы масштабирования MDM-проектов, нацеленных на решение определённых задач организации с помощью внедрения управления мастер-данными.

2. Формализовать концепцию перечислителей субоптимальных решений задач дискретной оптимизации.

3. Исследовать задачу суммирования перечислителей и другие композиционные операции; рассмотреть применимость этого аппарата к управлению мастер-данными.

4. Спроектировать архитектуру компонентной технологии для управления мастер-данными с открытым исходным кодом.

5. Выполнить пилотную реализацию технологии, провести её испытание на реальных MDM-проектах.

Соответствие диссертации паспорту специальности. Постановка цели и задач исследования соответствуют следующим пунктам паспорта специальности 2.3.5.

• Модели, методы, архитектуры, алгоритмы, языки и программные инструменты организации взаимодействия программ и программных систем (пункт 3).

• Интеллектуальные системы машинного обучения, управления базами данных и продуктов (пункт 4).

Научная новизна предложенных результатов заключается в следующем.

1. Предложенная итеративная MDM-стратегия и модель MDM-решения представляют новый взгляд на MDM как на средство разрешения ИТ-потребностей организаций, включающих работу с данными из гетерогенных источников. Существующие источники рассматривают MDM как самостоятельную задачу, связанную с потребностями организации через глобальные бизнес-перспективы, а не через конкретные бизнес-задачи и ИТ-потребности.

2. Предложенная модель субоптимальных задач дискретной оптимизации переводит на современный формальный язык информатики неформальные определения перечислителя и соответствующих операций. Впервые рассмотрены бесконечные субоптимальные задачи, которые сведены к системам Пеано.

3. Предложенные алгоритмы суммирования произвольного количества перечислителей являются новыми, также как и дополнительные композиционные операции над субоптимальными задачами.

4. Впервые предложена функциональная MDM-модель, предназначенная для анализа требований к MDM-проектам организаций в рамках итеративной модели управления мастер-данными. До сих пор отсутствовали средства для анализа состава MDM-проектов.

5. Впервые предложена полноценная открытая компонентная архитектура MDM-системы, включая разделение физического хранения данных (в разных форматах) и их логического представления для использования верхнеуровневыми MDM-компонентами. Также предложена концепция черновиков/чистовиков для мастер-данных, вычислимые мастер-данные, различные стратегии автоматизированного слияния (консолидации, match) мастер-данных. Существующие аналоги ограничиваются малофункциональными прототипами.

Теоретическая значимость работы заключается в формализации модели субоптимальных задач дискретной оптимизации, строгих определениях операций над такими задачами, рассмотрении бесконечных перечислителей и сведении бесконечных субоптимальных задач к системам Пеано, а также в предложенных эффективных алгоритмах суммирования перечислителей, включая сложностные оценки. Всё это позволяет говорить о формальной теории декомпозиции субоптимальных задач, которая может быть значительно развита в направлении создания более сложных средств декомпозиции таких задач с акцентом на теорию графов, что позволит значительно упростить разработку алгоритмов для решения сложных задач дискретной оптимизации.

Практическая значимость работы заключается в создании средств масштабирования MDM, что является принципиальным, в частности для компаний РФ, позволяя удешевить затраты и уменьшить сроки окупаемости внедрения MDM. Также, представленная открытая компонентная MDM-система может стать ядром открытого (open source) сообщества в России, способствуя созданию отечественных инструментов в области управления данными.

Степень достоверности и апробация результатов. Достоверность полученных результатов обеспечивается формальными математическими доказательствами, а также экспериментальными исследованиями. Результаты диссертационного исследования были доложены на конференциях и семинарах, представленных ниже.

• XVI Всероссийская мультиконференция по проблемам управления (МКПУ-2023), Россия, Волгоград, 11-15 сентября 2023.

• Workshops of the EDBT/ICDT 2022 Joint Conference, Edinburgh, UK, March 29, 2022.

• Actual Problems of Systems and Software Engineering (APSSE-2021). Russia, Moscow, 16-18 November 2021 (APSSE 2021).

Публикации. Основные результаты по теме диссертации изложены в 9 научных работах, пять из которых [19], [20], [21], [22], [24] изданы в журналах, рекомендованных ВАК, две опубликованы в трудах конференций [88], [23], одна является коллективной монографией [18], одна - патентом РФ [25]. Из этих работ 3 индексируется системами Web of Science и Scopus [20], [21], [88]. Личный вклад автора в публикациях, выполненных с соавторами, распределён следующим образом. В работе [19] автору принадлежат основные идеи архитектуры платформы Unidata Common Edition, а также проектирование пакетов Core, Storages, MDM; соавторами выполнены обзор существующих MDM продуктов и проработаны опциональные компоненты архитектуры. В работе [21] вклад автора состоит в разработке и реализации обобщенного алгоритма суммирования перечислителей, доказательстве его корректности, постановки экспериментов; соавтор участвовал в обсуждении основных идей статьи, оценки вычислительной сложности и потребления памяти алгоритма. В работе [22] автору принадлежит разработка функциональной MDM-модели, апробация этой модели в рамках индустриальных экспериментов; соавтор выполнил сопоставление предложенного модели и других подходов. В работе [23] автор предложил и описал основные алгоритмы, а также использовал перечислители для решения задачи оптимизации комплектующих в условиях ценовой дисперсии и ограничения поставок от контрагентов; соавторы участвовали в обсуждении основных идей доклада, выполнили обзор предметной области, а также редактировали текст статьи. В [25] автору принадлежит идея хранения мастер записи со ссылками на фрагменты записей из источников данных, соавторами выполнена реализация этого способа хранения. В коллективной монографии [18] автору принадлежит идея создания книги, а также написание главы 4 (описание данных как ресурса, включая особенности и подходы к управлению), главы 6 (описание данных как актива, включая типовые ошибки при извлечении ценности), глав 8 и 9

(методологические аспекты управления данными), а также главы 11 (проектирование и планирование данных). Основные научные результаты

1. MDM-стратегия, нацеленная на внедрение MDM «снизу вверх» путём решения конкретных ИТ-задач компании. Предложена новая модель MDM-решения. (См. работы [19, 25], личный вклад автора состоит в разработка стратегии и ее соотнесении и сравнении с другими моделями.)

2. Новая модель субоптимальных задач дискретной оптимизации, формально описывающая перечислитель решений и операции над такими задачами. Рассмотрены бесконечные субоптимальные задачи, которые сведены к системам Пеано. (См. работу [20], написанную автором единолично.)

3. Эффективные алгоритмы суммирования произвольного количества перечислителей. Новые композиционные операции над субоптимальными задачами, с помощью которых выполнена декомпозиция двух субоптимальных задач из области управления мастер-данными. (См. работы [21, 22], личный вклад автора состоит в разработке и реализации обобщенного алгоритма суммирования перечислителей, доказательстве его корректности, и экспериментах.)

4. Функциональная MDM-модель, предназначенная для анализа требований к MDM-проектам организаций и формирования MDM-проектов. (См. работу [25], личный вклад автора заключается в предложении идеи функциональной модели, создании основного пайплайна обработки мастер-данных в рамках этой модели, детальное исследование вопросов доставки данных системам-потребителям.)

5. Масштабируемая открытая многоуровневая архитектура MDM-технологии, где каждый уровень разбивается на компоненты, из которых возможно формирование итогового решения для

удовлетворения потребностей конкретной организации. (См. работу [19], автору принадлежат основные идеи архитектуры платформы, а также проектирование ряда пакетов, также см. работу [24], написанную автором единолично.)

Положения, выносимые на защиту.

1. Предложена MDM-стратегия, нацеленная на внедрение MDM «снизу вверх» путём решения конкретных ИТ-задач компании при условии, что решение этих задач подразумевает существенную работу с различными источниками данных; предложена новая модель MDM-решения.

2. Создана новая модель субоптимальных задач дискретной оптимизации, формально описывающая перечислитель решений и операции над такими задачами. Рассмотрены бесконечные субоптимальные задачи, которые сведены к системам Пеано.

3. Предложены эффективные алгоритмы суммирования произвольного количества перечислителей. Предложены новые композиционные операции над субоптимальными задачами - предикат, суммирование с предикатом, соединение; с их помощью выполнена декомпозиция двух субоптимальных задач из области управления мастер-данными.

4. Создана функциональная MDM-модель, предназначенная для анализа требований к MDM-проектам организаций и формирования MDM-проектов.

5. Предложена масштабируемая открытая многоуровневая архитектура MDM-технологии. Каждый уровень разбивается на компоненты, из которых возможно формирование итогового решения для удовлетворения потребностей конкретной организации.

Глава 1. Обзор

1.1 Субоптимальные задачи и перечислители

Исследование задач дискретной оптимизации берет свое начало в работах по анализу экономических и производственных моделей [13]. В дальнейшем, толчком к созданию различных алгоритмов решения таких задач послужило создание ЭВМ, развитие информатики и теории информации, в частности алгоритмы Дейкстры, Форда-Фалкерсона, метод динамического программирования Бэллмана [36]. Подобные задачи активно развиваются в последнее десятилетие в связи с ростом вычислительных мощностей, и можно заметить, как классические задачи, например, задача поиска кратчайшего пути во взвешенном графе, трансформируются в нетривиальные, востребованные прикладные задачи в различным областях, например, графовых базах данных [75], при анализе и создании оптимальных сетевых топологий [95]. Более того, для решения таких задач активно привлекаются смежные дисциплины, например, линейная алгебра и теория формальных грамматик [1].

Учитывая современные объемы данных и возрастающую скорость принятия решений, во многих практических задачах требуется найти не просто оптимальное решение, а несколько лучших (субоптимальных), для которых значение целевой функции попадает в определённый интервал. В литературе термин субоптималъный означает «не оптимальный, но близкий к оптимальному» [33], [78], [110]. Субоптимальность легко формализуется в случае непрерывной целевой функции, например, в задачах оптимального управления [29]. Хорошим примером из теории оптимального управления является задача Фуллера, в которой оптимизация функционала требует бесконечного числа точек переключения управления на конечном интервале времени. Однако поскольку на практике осуществить бесконечное число переключений невозможно, то ищут " £-субоптимальное" - с конечным числом переключений, в котором значение минимизируемого функционала отличалось бы от оптимального меньше заданного £ > 0.

В случае многоцелевой оптимизации субоптимальными решениями некоторой задачи называют те из них, которые оптимальны по одной из целевых функций [14]. Более того, часто встречаются задачи, где цели могут быть противоречивыми, например, максимизация прибыли и минимизация рисков. В таких случаях применяются различные методы многокритериального моделирования, где ключевую роль играет всесторонний взгляд на имеющиеся данные для принятия взвешенного решения [52].

Другими областями применения субоптимальных решений являются классические задачи дискретной оптимизации больших размерностей, где сложность поиска точного решения высока, и задачи теории оптимального управления дискретным объектом. Для ряда прикладных задач можно обойтись субоптимальными решениями, поиск которых вычислительно эффективнее [6]. При этом дискретная природа множества допустимых решений не может гарантировать возможность нахождения £-субоптимального решения, как в задаче Фуллера, и требуется перебор возможных вариантов как можно ближе к оптимальному.

Таким образом, субоптимальные задачи используются в комплексных задачах принятия решений, когда необходимо учитывать многочисленные факторы и ограничения, и поэтому оптимальное решение в смысле одних факторов может оказаться неоптимальным в смысле других, и, следовательно, востребован набор решений, из которого выбирается наилучшее [7]. При решении прикладных задач часто требуется вычислять решения, близкие к оптимальным, в частности из-за того, что данные, на основе которых происходит, вычисления быстро устаревают. В таких случаях процесс выдачи субоптимальных решений вычислительно проще вывода нового оптимального решения, что позволяет экономить производительность, память и другие ресурсы [12].

Отметим, что при решении субоптимальных задач речь не идет об эвристических алгоритмах, которые не дают гарантированного результата5, а именно об алгоритмах в классическом понимании [4]. Более того, для прикладных задач важно построить поиск субоптимальных решений именно в порядке ухудшения значений целевой функции, чтобы гарантированно брать «следующее» лучшее решение из имеющихся, например, при ограничении использования «предыдущих».

Для этих целей, И. В. Романовским было введено понятие перечислителя как процесса перебора субоптимальных решений задачи в порядке деградации целевой функции [34]. Для перечислителей был предложен ряд операций -монотонное преобразование, слияние, суммирование, свертка. Эти операции полезны при масштабировании субоптимальных задач и способны понизить сложность итоговых алгоритмов, позволяя составлять их из решений более простых задач (меньших по количеству допустимых решений, числу параметров оптимизации, объёму обрабатываемых данных и так далее).

1.2 Управление мастер-данными

Мастер-данные (master data) являются специальным видом данных организаций и описывают основные объекты, с которыми имеет дело эта организация (клиентов, поставщиков, продукцию и прочее), а также их важнейшие характеристики [61]. Пользователи этих данных рассчитывают на их согласованность в пределах организации, то есть ожидают получить одну и ту же информацию об одном и том же объекте из разных источников (информационных систем) организации. Разночтения и противоречия здесь порождают проблемы: задержки, коллизии, финансовые и имиджевые потери организации. Для

Список литературы диссертационного исследования кандидат наук Кузнецов Сергей Викторович, 2025 год

Литература

[1] Азимов, Р.Ш. Решение задач поиска путей в графе с заданными контекстно-свободными ограничениями с использованием методов линейной алгебры / Р. Ш. Азимов. - 2023. - Дисс. на соискание научной степени кан. физ.-мат. наук. - СПбГУ. - 256 с.

[2] Андриченко, А.Н. Тенденции и состояние управления справочными данными в машиностроении / А.Н. Андриченко // Онтология проектирования.

- 2012. - 2 (4). - С. 25-35.

[3] Андрюшкевич, С.К. Практика решения задач интеграции информационных систем на основе управления мастер-данными / С.К. Андрюшкевич, А.Г. Гуськов // Вычислительные технологии. - 2013. - №2 18.6

- С. 3-15.

[4] Ахо, А. В. Структуры данных и алгоритмы / А. В. Ахо, Дж. Э. Хопкрофт, Дж. Д. Ульман. - 2001. - М., СПб. - 382 с.

[5] Дубова, Н.А. Мастер-данные на перекрестке торговых путей / Н.А.Дубова // Открытые системы. СУБД. - 2009. - № 8. - С. 32-37.

[6] Бабаев, Д.А. Методы построения субоптимальных решений многомерной задачи о ранце / Д.А. Бабаев, К. Ш. Мамедов, М.Г. Мехтиев // Журнал вычислительной математики и математической физики. - 1978. - Т. 18. - №. 6. - С. 1443-1453.

[7] Баландин, Д.В. Многокритериальные минимаксные задачи: локализация множества Парето и синтез субоптимальных управлений / Д.В. Баландин, Р.С. Бирюков, М.М. Коган // Автоматика и телемеханика. - 2021. - № 8. - С. 3959.

[8] Брумштейн, Ю. М., Тарков, Д.А., Дюдиков, И.А. Анализ моделей и методов выбора оптимальных совокупностей решений для задач планирования в условиях ресурсных ограничений и рисков / Ю.М. Брумштейн, Д.А. Тарков, И.А. Дюдиков //Прикаспийский журнал: управление и высокие технологии. - 2013. - №. 3. - С. 169-180.

[9] Бубекова, А. Г. Особенности управления мастер-данными в банковской сфере / А. Г. Бубекова, И. С. Гантц // Международный научно-исследовательский журнал. — 2022. — 5—1 (119). — C. 23—26.

[10] Голубев, С.С. Отраслевая система государственной службы стандартных справочных данных нефтегазового комплекса / С.С. Голубев, А. Н. Лоцманов, А. Ю. Кузин, В. Г. Соловьев, А. Д. Козлов, Б. А. Григорьев // Законодательная и прикладная метрология. — 2020. — № 3. — С. 12—16.

[11] Зараменских, Е. П. Архитектура предприятия / Е. П. Зараменских, Д. В. Кудрявцев, М.Ю. Арзуманян. — 2023. — Учебник для вузов. 2-е изд., пер. и доп. — ЮРАЙТ. — 436 с.

[12] Кормен, Т. Алгоритмы. Построение и анализ / Т. Кормен, Ч. Лейзерсон, Р. Ривест, К. Штайн. — Москва, Вильямс. — 2005. — 1296 с.

[13] Канторович, Л.В. Математические методы организации и планирования производства / Л.В.Канторович. — Л.: Изд-во ЛГУ. — 1939. — 68 с.

[14] Кириллов, Ю.В. Многокритериальное моделирование как основа информационных технологий поддержки принятия решений / Ю.В. Кириллов // Фундаментальные исследования. — 2004. — №. 6. — С. 85—97.

[15] Кознов, Д.В. Особенности проектов в области разработки корпоративной архитектуры предприятий / Д. В. Кознов, М. Ю. Арзуманян, Ю. В. Орлов, М. А. Деревянко, К. Ю. Романовский, А. А. Сидорина // Бизнес-информатика. — 2015. — 4 (34). — С.15—23.

[16] Кознов, Д.В. "Человеческие" особенности использования UML / Д.В. Кознов, А.Ф. Перегудов // Системное программирование. — 2005. — Т. 1. № 1. — С. 4—17.

[17] Кознов, Д.В. О задаче слияния карт памяти (mind maps) при коллективной разработке / Д.В.Кознов, Е.В. Ларчик, М.М. Плискин, Н.И. Артамонов // Программирование. — 2011. — Т. 37. № 6. — С. 56—66.

[18] Кузнецов, С.В. Ценность ваших данных / С. В. Кузнецов, А. Константинов, Н. Скворцов. — Изд-во Альпина PRO, 2022. — 574 с.

[19] Кузнецов, С.В. UNIDATA: Открытая компонентная платформа для разработки MDM-решений / С.В. Кузнецов, А.В. Цырюльников, Д.В. Кознов // Труды Института системного программирования РАН. - 2021. Т. 33. № 6. -С.149-160.

[20] Кузнецов, С.В. Суммирование перечислителей в задачах дисретной оптимизации / С.В. Кузнецов // Дифференциальные уравнения и процессы управления. - 2023. - № 4. - С. 42-52.

[21] Кузнецов, С.В. Обобщённый алгоритм суммирования перечислителей в задачах дискретной оптимизации в контексте управления мастер-данными / С.В. Кузнецов, Д.В. Кознов // Дифференциальные уравнения и процессы управления. - 2024. - № 1. - С. 70-77.

[22] Кузнецов, С.В. Обобщенный алгоритм суммирования перечислителей субоптимальных решений / С.В. Кузнецов, И.В. Романовский // Вестник Санкт-Петербургского университета. - 2005. - №. 2. - С. 74-87.

[23] Кузнецов, С.В. Субоптимальные задачи управления мастер-данными с использованием перечислителей / С.В. Кузнецов, Д.В. Кознов, Н.В. Кузнецов // В сборнике: XVI Всероссийская мультиконференция по проблемам управления (МКПУ-2023). Материалы мультиконференции. В 4-х томах. Редколлегия: И.А. Каляев, В.Г. Пешехонов, С.Ю. Желтов [и др.]. Волгоград. -2023. - С. 73-76.

[24] Кузнецов, С.В. Using Bellman optimality principie for the generative autoencoder architecture for the problems of the attribute data typesetting and semantic description in data management / С.В. Кузнецов // Дифференциальные уравнения и процессы управления. - 2024. - № 2. - С. 171-182.

[25] Кузнецов, С.В. Способ сохранения и изменения эталонной и исходной записей в информационной системе управления данными / В.Е. Каменский, С.В. Кузнецов, А.В. Цырюльников // Патент на изобретение РФ № RU2680743C1, зарегистрирован 26.02.2019.

[26] Кузнецов, С.Д. Распределенные горизонтально масштабируемые решения для управления данными / С.Д. Кузнецов, А. В. Посконин // Труды Института системного программирования РАН. - 2013 - Т. 24. - С. 327-358.

[27] Кузнецов, С.Д. Управление данными: 25 лет прогнозов / С.Д. Кузнецов // Труды Института системного программирования РАН. - 2017. - Т. 29, вып.2. - С. 117-160.

[28] Линев, К. А. Разработка математического и программного обеспечения для систем управления мастер-данными / К. А. Линев. - Дисс. На соик. уч. ст. к.т.н. - М.: 2011. - 147 с.

[29] Майкова, О.Е. Субоптимальные режимы в задаче Фуллера / О. Е. Майкова // Труды МИАН. - 2002. - Т. 236. - С. 226-229.

[30] Немцов, Э.Ф. ИСУЖТ и нормативно-справочные данные / Э.Ф. Немцов // Автоматика, связь, информатика. - 2020. - № 2. - С. 15-18.

[31] Поддубный, В. В. Субоптимальное управление системой, описываемой стохастической моделью мировой динамики Форрестера / В. В. Поддубный, К.В. Бахтина, Т.В. Кривошеина // Вестник Томского государственного университета. - 2003. - Т. 280. - С. 145-154.

[32] Подиновский, В.В. Парето-оптимальные решения многокритериальных задач / В. В. Подиновский, В. Д. Ногин. - 2-еизд., испр. и доп. - 2007. - М.: Физматлит. - 256 с.

[33] Рогоза, А.А. Субоптимальное решение одного сингулярного интегрального уравнения с возмущённым оператором на основе вероятностных методов / А. А. Рогоза // Дифференциальные уравнения и процессы управления - 2017. - № 3. - С. 60-118.

[34] Романовский, И.В. Субоптимальные решения / И.В. Романовский. -Петрозаводск: Изд-во Петрозаводского университета, 1998. - 96 с.

[35] Романовский, И.В. Перебор субоптимальных решений в дискретных задачах оптимизации / И.В. Романовский //Компьютерные инструменты в образовании. - 2012. - №. 6. - С. 25-34.

[36] Романовский, И.В. Алгоритмы решения экстемальных задач / И.В. Романовский. - 1977. - М: Наука. - 353 с.

[37] Сухобоков, А.А. Об одном подходе к реализации системы управления мастер-данными об активах / А.А. Сухобоков, В.И. Строгонова // Программные продукты и системы. - 2017. - 30(1). - C. 51-60.

[38] Сухобоков, А.А. Оценка масштабируемости алгоритма проверки полноты и корректности связей в структуре данных системы управления мастер-данными об активах / А.А. Сухобоков, Д.Р. Никольский // Естественные и технические науки. - 2021. - № 7. - С. 195-200.

[39] Фаулер, М. UML. Основы. Краткое руководство по стандартному языку объектного моделирования / М. Фаулер. — Символ-Плюс, 2011. — 192 с.

[40] Феферман, С. Числовые системы. Основания алгебры и анализа. - М.: Наука, 1971. - 440 с.

[41] Чигиринский, Ю.Л. Методика повышения надежности справочных данных / Ю.Л. Чигиринский // Известия Волгоградского государственного технического университета. - 2011. - № 13 (86). - С. 55-61.

[42] Якобсон, А., Буч, Г., Рамбо, Д. Унифицированный процесс разработки программного обеспечения / А. Якобсон, Г. Буч, Д. Рамбо. - СПб.: Питер. -2002. - 432 с.

[43] Янченко, Г.А. К вопросу о стандартизации справочных данных плотностных свойств горных пород / Г.А. Янченко // Горный информационно-аналитический бюллетень (научно-технический журнал). - 2011. - № 8. - С. 111-115.

[44] Activiti BPMN, https://www.activiti.org, accessed 01.10.2024.

[45] Apache community, https://apache.org, accessed 01.06.2025.

[46] AtroCore, available at: https://github.com/atrocore/atrocore, accessed 01.06.2024.

[47] Apache Lucene, available at: https://lucene.apache.org, accessed 05.11.2024.

[48] Apache Solr, available at: https://solr.apache.org, accessed 01.12.2024.

[49] Batchelder, W.S. Data Governance Handbook: A practical approach to building trust in data. - Packt Publishing. - 2024.

[50] Berson, A. Master data management and customer data integration for a global enterprise / A. Berson, and L. Dubov. - McGraw-Hill, Inc., 2007. - 432 p.

[51] Boppiniti, S.T. Revolutionizing Healthcare Data Management: A Novel Master Data Architecture for the Digital Era / S.T. Boppiniti // Transactions on Latest Trends in IoT. - 2019. - V. 2. - № 2.

[52] Boutkhoum, O., Hanine, M. An integrated decision-making prototype based on OLAP systems and multicriteria analysis for complex decision-making problems / O. Boutkhoum, M. Hanine // Applied Informatics. - 2017. - 4 (11). - P. 1-24.

[53] Business Process Model and Notation (BPMN). Version 2.0. OMG, 2011, 538 p.

[54] Camunda BPMN, available at: https://docs.camunda.io, accessed 01.11.2024.

[55] Chen, W. J. Master Data Management for SaaS Applications / W. J. Chen, B. Eshwar, R. Rajendiran, S. Srinivas, B. Subramanian, B. Venkatasubramanian. IBM Redbooks. - 2014.

[56] Clean, Standardize, and Reformat Any Data Type. Mellica Inc., available at: https://www.melissa.com/data-cleansing, accessed 07.06.2025.

[57] CMMI Data Management Maturity Model (DMM). CMMI Institute, available at: http://bit.ly/1Vev9xx, accessed 01.06.2024.

[58] Christen, P. The data matching process / P. Christen. - Springer Berlin Heidelberg, 2012. - 264 p.

[59] Christophides, V. An overview of end-to-end entity resolution for big data / V. Christophides, et al. //ACM Computing Surveys (CSUR). - 2020. - V. 53. - №. 6. - P. 1-42.

[60] DAMA Community, https://www.dama.org/, accessed 01.06.2025.

[61] DAMA-DMBOK: Data Management Body of Knowledge, 2017.

[62] Denardo, E. V. Shortest-route methods: reaching, pruning, and buckets / E.V. Denardo, B.L. Fox // Operations Research. - 1979. - Vol. 27. - P. 161-186.

[63] Dyche, J., Levy, E. Customer data integration: Reaching a single version of the truth / J. Dyche, E. Levy - John Wiley & Sons, 2006. - Vol. 7. - 296 p.

[64] EDM Council, available at: https://edmcouncil.org, accessed 01.06.2025.

[65] ElasticSearch, available at: https://www.elastic.co/elasticsearch, accessed 15.08.2024.

[66] EMC Education Services (ed.). Data science and big data analytics: discovering, analyzing, visualizing and presenting data. - John Wiley & Sons. -2015.

[67] Egeria, available at: https://odpi.github.io/egeria-docs/, accessed 01.06.2025.

[68] Data Integration Tools Reviews and Ratings, available at: https://www.gartner.com/ reviews/market/data-integration-tools, accessed 01.06.2024.

[69] Fuyuko, available at: https://fuyuko.org, accessed 01.06.2024.

[70] HF Lab, available at: https://hflabs.ru, accessed 01.06.2024.

[71] Java Enterprise Edition, available at: https://www.oracle.com/java/ technologies/java-ee-glance.html, accessed 01.06.2024.

[72] Kaur, D., Singh, D. Critical Data Consolidation in MDM to Develop the Unified Version of Truth / D. Kaur, S. Dilbag //International Journal of Advanced Computer Science and Applications. - 2021. - №. 12. - P. 317-325.

[73] Köpcke, H., Thor A., Rahm E. Evaluation of entity resolution approaches on real-world match problems / H. Köpcke, A. Thor, E. Rahm. //Proceedings of the VLDB Endowment. - 2010. - V. 3. - №. 1-2. - P. 484-493.

[74] Kotter, J. P. Leading change / J. P. Kotter. - Harvard Business Press, 2012. - 194 p.

[75] Medeiros, C. M. Efficient evaluation of context-free path queries for graph databases / C. M. Medeiros, M. A. Musicante, U. S. Costa //Proceedings of the 33rd Annual ACM Symposium on Applied Computing. - 2018. - P. 1230-1237.

[76] Understanding Modern MDM, available at: https://www.gartner.com/en/documents/4014597, accessed 03.06.2025

[77] Gartner Glossary, available at: https://www.gartner.com/en/glossary, accessed 01.06.2025.

[78] Gilmore, P.C. Optimal and suboptimal algorithms for the quadratic assignment problem / P. C. Gilmore // Journal of the society for industrial and applied mathematics. - 1962. - 10 (2). - P. 305-313.

[79] Haug, A. Barriers to master data quality / A. Haug, J. Stentoft Arlbj0rn //Journal of Enterprise Information Management. - 2011. - V. 24. - №2. 3. - P. 288303.

[80] Hechler, E. Applying AI to master data management / E. Hechler, et al // Deploying AI in the Enterprise: IT Approaches for Design, DevOps, Governance, Change Management, Blockchain, and Quantum Computing. - 2020. - P. 213 -234.

[81] Henderson, J. C. Strategic alignment: Leveraging information technology for transforming organizations / J.C. Henderson, V. Harihara // IBM systems journal. -1999. - № 2-3. - P. 472-484.

[82] Hildebrand, K. Master Data Life Cycle-Management der Materialstammdaten in SAP / K. Hildebrand //Daten-und Informationsqualität: Auf dem Weg zur Information Excellence. - 2018. - P. 299- 310.

[83] IBM Data Governance Council Maturity Model, available at: https://ibm.co/2sRfBIn, accessed 01.06.2025.

[84] IntelliJ IDEA, available at: https://www.jetbrains.com/idea, accessed 05.12.2024.

[85] Informatica AddressDoctor Cloud. Version 2, available at: https://www.informatica.com, accessed 07.06.2025.

[86] Khatri, V. Designing data governance / V. Khatri, C.V. Brown // Communications of the ACM. - 2010. - 53(1). - P. 148-152.

[87] Kokemüller, J. Master Data Management: Products and Research / J. Kokemüller, A. Weisbecker // ICIQ. - 2009. - P. 8-18.

[88] Kuznetsov, S. Unidata - A Modern Master Data Management Platform / S. Kuznetsov, A. Tsyryulnikov, D. Koznov, at al.// EDBT/ICDT Workshops. - 2022.

[89] Van Der Lans, R. Data Virtualization for business intelligence systems: revolutionizing data integration for data warehouses / R. Van Der Lans. - Elsevier, 2012. - 296 p.

[90] Lawler, E.L. A procedure for computing the K-best solutions to discrete optimization problems and its application to the shortest path problem / E.L. Lawler // Management Science. - 1972. - V. 18. - P. 401-405.

[91] Loshin, D. Master Data Management / D. Loshin. - Morgan Kaufmann, 2010. - 304 p.

[92] Loshin, D. Data Quality and Master Data Management / D. Loshin. -Knowledge Integrity, Inc., 2010. - 152 p.

[93] Marler, R.T. Survey of multi-objective optimization methods for engineering / R.T. Marler, J.S. Arora //Structural and multidisciplinary optimization. - 2004. -V. 26. - P. 369-395.

[94] Martins, E. Q. V. The K shortest paths problem / E. Q. V. Martins, M. M. B. Pascoal, J. L. E. Santos // Research Report, CISUC. - 1998.

[95] Minieka, E. A note on an algebra for the k best routes in a network / E. Minieka, D. Shier // Journ. Inst. Math. Appl. - Vol. 11. - 1973. - P. 145-149.

[96] Mohanta, K. Comprehensive study on computational methods for k-shortest paths problem / K. Mohanta, B. Poddar // International Journal of Computer Applications. - 2012. - V. 40. - №. 14. - P. 22-26.

[97] Murthy, K. et al. Exploiting evidence from unstructured data to enhance master data management / K. Murthy, et al. //Proceedings of the VLDB Endowment. - 2012. - V. 5. - №. 12. - P. 1862-1873.

[98] Nananukul, N. Cost-efficient prompt engineering for unsupervised entity resolution in the product matching domain / N. Nananukul, K. Sisaengsuwanchai, M. Kejriwal //Discover Artificial Intelligence. - 2024. - V. 4. - №. 1. - P. 56.

[99] Naumann, F. Data profiling revisited / F. Naumann // ACM SIGMOD Record. - 2014. - Vol. 42. - №. 4. - P. 40-49.

[100] Neo4J, available at: https://neo4j.com, accessed 15.09.2024.

[101] O'Kane, B. The Seven Building Blocks of MDM: A Framework for Success / B. O2'Kane, M. P. Moran // White paper Gartner. ID: G00311161. - 2016.

[102] Ofner, M.H. Management of the master data lifecycle: a framework for analysis / M. H. Ofner, K. Straub, B. Otto, H. Österle // J. Enterp. Inf. Manag. -2013. - 26(4). - P. 472-491.

[103] OrientDB, available at: https://www.orientdb.org, accessed 01.06.2025.

[104] Otto, B., Hüner, K. Functional reference architecture for corporate master data management / B. Otto, K. Hüner. - Report No.: BE HSG / CC CDQ / 21, University of St. Gallen, 2009. - 64 p.

[105] Otto, B., Ebner, V., Hüner, K. M. Measuring master data quality: Findings from a case study / B. Otto, V. K. Ebner, M. Hüner. - 2010.

[106] Otto, B. How to design the master data architecture: Findings from a case study at Bosch / B. Otto // International journal of information management - 2012. - V 32. - № 4. - P. 337-346.

[107] Pansara, R. R. Cybersecurity Measures in Master Data Management: Safeguarding Sensitive Information / R. R. Pansara // International Numeric Journal of Machine Learning and Robots. - 2022. - V. 6. - №. 6. - P. 1-12.

[108] Pansara, R. R. Enhancing Sustainable Development Through Machine Learning-Driven Master Data Management / R. R. Pansara, et al. // International Conference on Sustainable Development through Machine Learning, AI and IoT. -Cham: Springer Nature Switzerland, 2024. - P. 332-341.

[109] Pearl, J. On the discovery and generation of certain heuristics / J. Pearl // Probabilistic and Causal Inference: The Works of Judea Pearl. - 2022. - P. 103-122.

[110] Pervozvanskii, A. A., Gaitsgori, V. G. Theory of suboptimal decisions: Decomposition and aggregation / A. A. Pervozvanskii, V. G. Gaitsgori. - 2013. -Springer Science & Business Media.

[111] Pimcore, available at: https://pimcore.com, accessed 01.06.2025.

[112] Pipino, L. L. Data quality assessment / L. L. Pipino, Y. W. Lee, R. Y. Wang //Communications of the ACM. - 2002. - Vol. 45. - №. 4. - P. 211-218.

[113] Rivas, B. Towards a service architecture for master data exchange based on ISO 8000 with support to process large datasets / B. Rivas, et al // Computer Standards & Interfaces. - 2017. - V. 54. - P. 94-104.

[114] Senzing, available at: https://senzing.com/senzing-api/, accessed 10.06.2025.

[115] Silvola, R. Managing one master data - Challenges and preconditions / R. Silvola, O. Jääskelainen, H. Kropsu-Vehkaperä, H. Haapasalo // Industrial Management & Data Systems. - 111(1). - 2011. - P. 146-162.

[116] Singh, S. Implementing Fog-Cloud based Architecture for Master Data Management / S. Singh, R. Chhabra // International Conference on Emerging Technologies: AI, IoT, and CPS for Science & Technology Applications, September 06-07, 2021, NITTTR Chandigarh, India. CEUR. - 2021. - V. 3058.

[117] Spruit, M. MD3M: The master data management maturity model / M. Spruit, K. Pietzka // Computers in Human Behavior. - 2015. - V. 51. - P. 10681076.

[118] Talend, available at: https://www.talend.com/, accessed 01.06.2025.

[119] Velocity Methodology. Best Practices. Informatica. - 2008.

[120] Vassiliadis, P. A. Survey of Extract-Transform-Load technology / P.A. Vassiliadis // International Journal of Data Warehousing and Mining (IJDWM). -2009. - 5(3). - P. 1-27.

[121] Vilminko-Heikkinen, R., Pekkola, S. Master data management and its organizational implementation: An ethnographical study within the public sector / R. Vilminko-Heikkinen, S. Pekkola // Journal of Enterprise Information Management. - 2017. - V. 30. - №. 3. - P. 454-475.

[122] Walker, S. Magic Quadrant for Master Data Management / S. Walker, A. Dayley, S. Parker, M. Hawker. - Gartner, 2021.

[123] Zmud, R.W. An Examination of 'Push-Pull' Theory Applied to Process Innovation in Knowledge Work / R.W. Zmud // Management Science. - 1984. - 30 (6). - P. 727-738.

[124] Zúñiga, D. V. Master data management maturity model for the microfinance sector in Peru / D. V. Zúñiga, et al. // Proceedings of the 2nd international conference on information system and data mining. - 2018. - P. 49-53.

[125] Unidata Community Edition Source Code, available at: https://gitlab.com/unidata-community-group, accessed 01.06.2025.

[126] Unidata Community Edition Documentation, available at: https://devdoc.unidata-community.com/content/about.html, accessed 01.06.2025.

[127] Unidata Platform, available at: https://unidata-platform.ru, accessed 01.06.2025.