Методы и средства поддержки поиска проектных решений в автоматизированном проектировании тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат наук Сибирев Иван Валерьевич

• Сибирев Иван Валерьевич
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Сибирев Иван Валерьевич

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ АВТОМАТИЗАЦИИ ПОИСКА ПРОЕКТНЫХ РЕШЕНИЙ НА ОСНОВЕ ЧИСЛОВЫХ ХАРАКТЕРИСТИК ПРОЕКТОВ

1.1. Анализ направлений и подходов поиска проектных решений в автоматизированном проектировании

1.2. Исследование средств поддержки поиска проектных решений при разработке программного обеспечения

1.3. Проблемы и методы анализа и обработки числовых характеристик проектов, хранимых в репозиториях (восстановление, кластеризация, индексы)

1.4. Постановка задачи исследования

1.5. Выводы

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ И МЕТОДОВ ПОДДЕРЖКИ ПОИСКА ПРОЕКТНЫХ РЕШЕНИЙ ИЗ РЕПОЗИТОРИЕВ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

2.1. Формализация описания проектов в автоматизированном проектировании на основе текстовых и числовых характеристик

2.2. Алгоритм восстановления недостающих числовых характеристик проектов на основе нечеткой кластеризации

2.3. Метод кластеризации проектов по динамическим характеристикам (БВС-метод), моделируемым временными рядами

2.4. Метод автоматизированного поиска проектных решений по ключевым числовым характеристикам проектов из репозиториев ПО. Теоретическая оценка эффективности метода поиска проектных решений

2.5. Выводы

ГЛАВА 3. РАЗРАБОТКА ПРОГРАММНЫХ СРЕДСТВ ПОДДЕРЖКИ ПОИСКА ПРОЕКТНЫХ РЕШЕНИЙ

3.1. Описание модульной схемы программных средств поддержки поиска проектных решений

3.2. Разработка моделей программных средств поддержки поиска проектных решений. Диаграмма классов и варианты использования

3.3. Описание программных средств извлечения и предобработки данных

из репозитория ПО

3.4. Разработка программных средств автоматизации технологической подготовки производства на АО «Авиастар-СП»

3.5. Выводы

ГЛАВА 4. ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННЫХ

МЕТОДОВ И СРЕДСТВ ПОДДЕРЖКИ ПОИСКА ПРОЕКТНЫХ РЕШЕНИЙ

4.1. Исследование эффективности средств восстановления недостающих

числовых характеристик проектов из репозитория ПО

4.1.1.Исследование быстродействия алгоритма восстановления недостающих числовых характеристик проектов

4.1.2. Исследование точности алгоритма восстановления значений числовых характеристик проектов

4.1.3. Применение алгоритма восстановления недостающих данных в проекте балансировки мощностей на АО «Авиастар-СП»

4.2. Исследование эффективности FBC-метода в задаче извлечения проектов, имеющих схожие числовые характеристики, из открытого репозитория программного обеспечения

4.3. Исследование эффективности применения метода поиска проектных решений по числовым характеристикам проектов

4.4. Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

ПРИЛОЖЕНИЕ 1. Результаты вычислительных экспериментов

ПРИЛОЖЕНИЕ 2. Фрагмент программного кода

ПРИЛОЖЕНИЕ 3. Свидетельства о государственной регистрации программ для ЭВМ

ПРИЛОЖЕНИЕ 4. Акты об использовании результатов исследования

ПРИЛОЖЕНИЕ 5. Выдержки из ГОСТов

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

ВР - временной ряд

ОТС - организационно-техническая система ПО - программное обеспечение

САПР - система автоматизированного проектирования

ТЗ - техническое задание

EM - Expectation-Maximization Algorithm

FBC - Fuzzy Behavior Clustering

FCM - Fuzzy Clustering Method

GTI - General Trends Identification

KPI - Key Performance Indicators

MSE - Mean Square Error

RMSE - Root Mean Square Error

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Методы и средства поддержки поиска проектных решений в автоматизированном проектировании»

Актуальность темы

При проектировании программного обеспечения (ПО) важной задачей является автоматизированный поиск вариантов предварительных проектных решений из похожих проектов (в дальнейшем, для краткости, поиск проектных решений), удовлетворяющих требованиям технического задания (ТЗ), происходящий, согласно ГОСТ Р 57102-2016, ГОСТ Р ИСО/МЭК 12207-2010, на этапе проектирования архитектуры системы; согласно ГОСТ 34.601-90, на этапе эскизного проектирования.

Под проектом будем понимать систему, включающую совокупность процессов, нацеленных на создание уникального продукта и его описаний, выраженных в виде проектных, технических и технологических решений. Согласно ГОСТ 34.003-90, проектное решение определяется как «описание в заданной форме объекта проектирования или его части, необходимое и достаточное для определения дальнейшего направления проектирования».

Для поиска проектных решений целесообразно опираться на опыт разработки проектов ПО, накопленный в электронных архивах технической документации проектной организации; в базах данных систем технологической подготовки производства; в репозиториях систем отслеживания и управления проектами GIT, SVN, JIRA, TFS, Bugzilla, Trac, Mantis, Redmine, которые хранят характеристики реализованных проектов и позволяют, в том числе, отслеживать процесс проектирования.

При решении задачи автоматизации поиска проектных решений на основе данных, извлекаемых из репозиториев технической документации, выделим два направления: 1) по текстовым; 2) по числовым характеристикам проекта.

Первое направление реализуется с использованием онтологического подхода на основе интегрального индекса, вычисляемого по множеству характеристик программных и проектных решений (Н.М. Боргест, Н.В.

Лукашевич, Е.В. Биряльцев, А.М. Елизаров, Н.Г. Жильцов, В.В. Иванов, О.А. Невзорова, В.Д. Соловьев, В.В. Грибова, А.В. Иванова, Р.А. Субхангулов, А.М. Наместников, А.А. Филиппов и др.); подходов на основе методов кластеризации, позволяющих группировать документы по множеству текстовых характеристик (В.Б. Барахнин, В.А. Нехаева, А.М. Федотов, Д.А. Ткачев, О.В. Пескова, Н.Г. Ярушкина, А.В. Чекина, А.А. Островский и др.) Например, в системе Vitro-CAD в корпорации ЭЛАР поиск документов производится по ключевым словам и индексам. Ограничениями методов поиска с использованием текстовых характеристик являются неоднозначность терминов естественного языка, смена терминологии, поиск различных документов, в зависимости от выбора раздела документа, содержащего проектные решения.

Второе направление поиска проектных решений опирается на количественные характеристики проектов, поскольку техническая документация, представляемая в виде технического задания, эскизного и рабочего проекта, описание конечного продукта и его эксплуатационная документация содержат количественную информацию, которая полезна для поиска проектных решений.

В ряде исследований зарубежных авторов, таких как Sh. Budhkar, Dr. Arpita Gopal, S.A.S. Sadou, H. Sahraoui, R. Fleurquin, Ch. Srinivasa, V. Radhakrishnab, Dr.C.V.Guru Rao и др., рассматриваются методы анализа свойств программных проектов на основе предварительно извлеченных числовых характеристик. Так M. Jureczko, L. Madeyski в задаче прогнозирования дефектов описывают методику поиска похожих проектов с помощью кластеризации векторов, образованных из коэффициентов корреляции между метриками объектно-ориентированного программирования и количеством дефектов в проекте.

Анализ исследований и направлений поиска проектных решений в

области разработки ПО показал, что методы кластеризации проектов по

числовым характеристикам могут рассматриваться как перспективные

6

средства автоматизации. Однако применение для анализа проектов ПО кластеризации по числовым характеристикам не учитывает динамические характеристики процесса разработки, хотя в последнее время анализу и контролю процессов разработки ПО уделяется особое внимание (ГОСТ Р 57102-2016, ГОСТ Р 57193-2016, ГОСТ Р 54869-2011, ГОСТ Р ИСО 100062005, ГОСТ Р ИСО 21500-2014, ГОСТ Р ИСО/МЭК 12207-2010). Также в случае пропусков данных или в процессе удаления аномальных значений возникает проблема восстановления недостающих числовых данных. При этом сбор, предварительная обработка, проверка, восстановление недостающих данных может занимать до 95% времени в процедуре поиска проектных решений.

Это определяет научно-техническую проблему в области разработки ПО, связанную с востребованностью автоматизированных средств поддержки поиска проектных решений на основе числовых характеристик проектов, хранимых в репозитории.

Цель работы: сокращение временных затрат поиска проектных решений на этапе архитектурного проектирования ПО за счет разработки методов и средств автоматизированной поддержки. Задачи исследования

1. Разработать формальную модель проектов ПО, включающую числовые статические и динамические характеристики, а также текстовые описания проектных решений.

2. Разработать и исследовать алгоритм восстановления пропущенных значений числовых характеристик проектов.

3. Разработать алгоритм кластеризации проектов по их динамическим характеристикам.

4. Разработать метод поиска проектных решений по числовым статическим и динамическим характеристикам.

5. Разработать программные средства поддержки поиска проектных

решений, включающие средства извлечения, восстановления и

7

кластеризации числовых характеристик проектов ПО.

Методы исследования основаны на использовании положений и методов теории автоматизированного проектирования, кластерного анализа, анализа временных рядов, объектно-ориентированного, функционального, контекстно-ориентированного, компонентно-ориентированного

программирования.

На научную новизну претендуют:

1) модель проектов ПО, включающая числовые статические и динамические характеристики, а также текстовые описания проектных решений, предусматривающая, в отличие от известных моделей, возможности совместного анализа числовых статических и динамических характеристик проектов;

2) алгоритм восстановления пропущенных значений числовых характеристик проектов, в основе которого лежат методы нечеткой кластеризации, в отличие от методов, использующих статистические характеристики и распределения;

3) метод кластеризации процессов разработки проектов ПО по динамическим характеристикам, представленным временными рядами (FBC-метод), отличающийся от известных методов применением кластеризации на трех иерархических уровнях (основных тенденций, компонент тренда и колебаний временных рядов);

4) метод поиска проектных решений, отличающийся от аналогов постановкой задачи, методом формирования групп похожих проектов и разделением по времени этапов кластеризации проектов и поиска проектного решения.

Теоретическая значимость работы заключается в разработке средств автоматизации поиска проектных решений ПО на этапе архитектурного проектирования ПО, методов и алгоритмов анализа и синтеза числовых характеристик проектов.

Практическая значимость полученных результатов состоит в

8

разработке комплекса средств поддержки поиска проектных решений по числовым статическим и динамическим характеристикам, включающего:

- архитектуру автоматизированной системы поддержки поиска проектных решений;

- программные средства поддержки поиска проектных решений для проекта «Автоматизированная система балансировки мощностей» системы автоматизированной подготовки производства АО «Авиастар-СП»; для поиска похожих проектов и проектных решений в работе ООО «ЦИТОП» и в отделе информационных технологий Управления Федеральной службы государственной регистрации, кадастра и картографии по Ульяновской области.

Соответствие паспорту специальности

Согласно паспорту специальности 05.13.12 «Системы автоматизации проектирования (промышленность)», проблема, рассмотренная в диссертации, соответствует области исследований: «Разработка научных основ построения средств САПР, разработка и исследование моделей, алгоритмов и методов для синтеза и анализа проектных решений, включая конструкторские и технологические решения в САПР и АСТПП». Основания для выполнения работы Исследования выполнены в рамках исполнения грантов:

1) РФФИ №14-07-0024 А «Методология моделирования и прогнозирования локальных тенденций временных рядов в задачах анализа больших данных»;

2) РФФИ № 16-07-00535 «Разработка и исследование алгоритмов интеллектуального анализа организационно-технических систем на основе нечетких моделей»;

3) РФФИ №16-47-732112 «Исследование и разработка методов прогнозирования временных рядов на основе многомодельного подхода».

Достоверность и обоснованность полученных результатов

подтверждается корректностью использования математического и

критериально-оценочного аппарата; результатами вычислительных

9

экспериментов; результатами использования материалов диссертации в работе компаний.

Основные положения, выносимые на защиту

1. Модель проектов ПО, включающая числовые статические и динамические характеристики, а также текстовые описания проектных решений, позволяет адекватно и комплексно представлять данные о проекте, полезные для поиска проектных решений.

2. Алгоритм восстановления пропущенных значений числовых характеристик проектов позволяет повысить точность восстановления значений в 2 раза по сравнению с заполнением средним арифметическим.

3. Метод кластеризации проектов по динамическим характеристикам (FBC-метод), представленным в виде временных рядов, позволяет выявлять однородные группы проектов со сходной динамикой и повысить качество кластеризации, согласно индексу Ball-Hall, в 2.8 раза по сравнению с поточечной кластеризацией временных рядов центроидным методом.

4. Средства автоматизации поддержки поиска проектных решений позволяют сократить время поиска проектных решений за счет разделения этапов кластеризации проектов и поиска проектного решения, в конкретном случае произошло снижение временных затрат с 2 дней до 3 часов.

Апробация работы

Основные положения и результаты диссертационной работы докладывались, обсуждались и получили одобрение на следующих конференциях, конгрессах, семинарах и симпозиумах: 16th World Congress of the International Fuzzy Systems Association and 9th Conference of the European Society for Fuzzy Logic and Technology IFSA-EUSFLAT (Gijon, Asturias, Spain, 2015); 17th World Congress of lnternational Fuzzy Systems Association and 9th International Conference on Soft Computing and Intelligent Systems IFSA-SCIS (Otsu, Shiga, Japan, 2017); VI, VII Международные научно-технические

конференции «Open Semantic Technologies for Intelligent Systems» OSTIS (г.

10

Минск, Беларусь, 2016г., 2017 г.); Международная научно-техническая конференция «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (г. Коломна, 2015 г.); III Международная научно-практическая конференция «Электронное обучение в непрерывном образовании (Э0Н0-2016)» (г. Ульяновск, 2016 г.); Пятнадцатая национальная конференция «Национальная конференция по искусственному интеллекту (КИИ-2016)» (г. Смоленск, 2016г.); VII Всероссийская научно-практическая конференция «Нечеткие системы, мягкие вычисления и интеллектуальные технологии» (г. С.-Петербург, 2017 г.); VIII Всероссийская научно-техническая конференция «Информатика и вычислительная техника» (г. Ульяновск, 2016г.), IV, V Всероссийские научно-практические конференции с международным участием «Прикладные информационные системы» (г.Ульяновск, 2017, 2018г.); I, II Всероссийские научно-практические конференции «Нечеткие системы и мягкие вычисления. Промышленные применения», FTI-17,18 (г.Ульяновск, 2017, 2018 г.) Молодежная научно-техническая конференция «Автоматизация процессов управления» (Ульяновск, «Марс», 2018), 52 НТК «Вузовская наука в современных условиях» (УлГТУ, 2018) и др.

Публикации

По результатам работы было опубликовано 22 статьи, среди них: в журналах из списка ВАК - 3 статьи, в изданиях, индексируемых в Scopus - 2 статьи, за рубежом - 4 статьи (Испания, Япония, Беларусь). Получены 2 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем работы

Диссертационная работа изложена на 172 страницах, общий объем с приложениями составляет 211 страниц, содержит введение, четыре главы, заключение, 17 таблиц, 43 рисунка, список литературы из 160 наименований, 5 приложений.

ГЛАВА 1. АНАЛИЗ МЕТОДОВ И СРЕДСТВ АВТОМАТИЗАЦИИ ПОИСКА ПРОЕКТНЫХ РЕШЕНИЙ НА ОСНОВЕ ЧИСЛОВЫХ ХАРАКТЕРИСТИК ПРОЕКТОВ

1.1. Анализ направлений и подходов поиска проектных решений в автоматизированном проектировании

Проектирование программного обеспечения (ПО) в настоящее время приобретает промышленные масштабы, проекты разработки ПО становятся все более сложными. В работе [152] приведена статистика успешности проектов разработки ПО за десять лет по всему миру: более чем в половине случаев результаты реализации проектного решения спорные или провальные. П.И. Соснин пишет, что «под успешностью процесса разработки в интегральном плане принято понимать реализацию процесса в запланированных рамках (финансовых, временных и функциональных)» [142, с.6], успешность «по статистическим оценкам в течение последних 20 лет не превышает 40 %» [142, с.6].

Существуют различные определения проекта. Он определяется как «временное предприятие» (PMBOK до пятой версии), «комплекс взаимосвязанных мероприятий» (ГОСТ Р 54869-2011), которые направлены «на создание уникального продукта или услуги в условиях временных или ресурсных ограничений» [99]. ГОСТ Р ИСО 10006-2005 определяет проект как «уникальный процесс, состоящий из совокупности скоординированной и управляемой деятельности с начальной и конечной датами, предпринятый для достижения цели, соответствующей конкретным требованиям, включая ограничения сроков, стоимости и ресурсов» [100, с.5]. Мы будем понимать «проект разработки ПО», согласно определению ISO 21500:2012, как «уникальную совокупность процессов, состоящую из контролируемых и управляемых видов деятельности с датами начала и завершения, предназначенную для достижения определенных целей» [26].

Проектирование и производство заказных программных продуктов регламентируется комплексами международных стандартов: ГОСТ Р ИСО/МЭК 12207.2010 - Системная и программная инженерия, процессы жизненного цикла систем и программных комплексов [102], [27]; CMMI -Система и модель оценки зрелости, управление проектами программных средств; ГОСТ Р ИСО 10006-2005 - Система менеджмента качества. Руководство по менеджменту качества при проектировании [100]; ISO/IEC TR 19759:2015 - SWEBOK, Совокупность знаний о разработке программных средств. Руководство [28].

Процесс разработки ПО регламентируется Российскими стандартами: ГОСТ Р 57102-2016 [94], ГОСТ Р 54869-2011 [99], ГОСТ 34.601-90 [98], ГОСТ 19.102-77 ЕСПД [91] и др.

Стандарты ISO 21500 [26], ГОСТ Р 57193-2016 [93], ГОСТ Р 571022016 [94], ГОСТ Р ИСО/МЭК 12207.2007 [102] и др. используют процессный подход и описывают процессы жизненного цикла систем и программных продуктов. Инструментально-технологический опыт управления процессами обобщает, в частности, методология RUP (Rational Unified Process). Она отражает статические аспекты процессов (структуризация процесса, руководства, примеры и шаблоны проектных решений, документов и др.), использует динамические характеристики процессов (стадии, итерации, контрольные точки, интенсивность использования ресурсов на данный момент времени в потоках работ) [142].

При проектировании ПО часто проектные решения опираются на опыт проектирования, набор готовых компонентов и проектных решений, полученных в предыдущих проектах, имеющих похожие характеристики (см. приложение 5, ГОСТ 24.703-85 «Единая система стандартов автомтизированых систем управления. Типовые проектные решения в АСУ. Основные положения» [92]). Согласно ГОСТ 34.003-90, для уменьшения трудоемкости, сроков, затрат поиска проектного решения целесообразно

использовать «типовые проектные решения, предназначенные для повторного использования при проектировании» [97, с. 8].

В ГОСТ Р ИСО 10006-2005 «Система менеджмента качества. Руководство по менеджменту качества при проектировании» [100] утверждается (см. приложение 5, ГОСТ Р ИСО 10006-2005), что выбор проектных решений основывается на анализе данных и информации по предыдущим проектам, при этом ожидается, что выбранное проектное решение обеспечит некоторые значения заданных параметров, в частности, связанных с качеством, длительностью, стоимостью разработки [100].

При этом, согласно ГОСТ Р 57193-2016, «если существует большое количество альтернатив, они качественно проверяются для уменьшения до управляемого количества альтернатив в интересах более детального системного анализа» [93]. «Каждая из альтернатив оценивается в сравнении с критериями решения (например, воздействия стоимости, сроков, программных ограничений, нормативов, характеристик технической работы, критичных характеристик качества и рисков). Результаты этих сравнений оцениваются с помощью соответствующей модели выбора и используются для выбора оптимального решения» [93]. При этом «альтернативы оцениваются количественно, используя критерии выбора. Отобранная альтернатива в общем случае обеспечивает оптимизацию или усовершенствование в определенном решении» [93] (см. приложение 5).

Согласно ГОСТ Р 57193-2016 «Системная и программная инженерия. Процессы жизненного цикла систем», поиск проектных решений происходит в рамках процесса управления решениями [93], на этапе проектирования архитектуры системы, согласно ГОСТ Р 57102-2016 [94], ГОСТ Р ИСО/МЭК 12207-2010 [102], на этапе эскизного проектирования, согласно ГОСТ 34.60190 [98] (см. приложение 5).

Согласно ГОСТ 34.601-90 «Автоматизированные системы. Стадии создания» выделяют следующие «стадии создания автоматизированных

систем (АС): формирование требований к АС; разработка концепции АС;

14

техническое задание; эскизный проект; технический проект; рабочая документация; ввод в действие; сопровождение АС» [98, с.1]. Стадия эскизного проектирования (см. приложение 5, ГОСТ 34.601-90) включает в себя «разработку предварительных проектных решений по системе и её частям; разработку документации на АС и её части» [98, с.2]. Поиск проектных решений востребован на этапе архитектурного (эскизного) проектирования при выборе альтернативных вариантов проектного решения и их аналогов. Актуальна автоматизация поиска проектных решений при разработке ПО.

Такая особенность проекта, как уникальность разрабатываемого продукта, при процессном подходе, реализованном стандартами ISO 21500, ГОСТ Р ИСО/МЭК 12207.2007, CMMI и др., не противоречит стандартизации процессов, состоящих из контролируемых, измеряемых и управляемых видов деятельности, повторному использованию удачных проектных решений в ходе процессного управления.

В.В. Липаев в книге «Проектирование и производство сложных заказных программных продуктов» отмечает, что «повторное использование компонентов проектных решений должно быть систематическим, плановым и включенным во все организационные процессы проектирования... Перед началом этапа проектирования разработчики должны выполнять поиск компонентов, подходящих для повторного использования» [112, с. 103].

При проектировании технических, организационно-технических систем, программных, измерительно-вычислительных комплексов, их элементов автоматизированный поиск вариантов предварительных проектных решений из похожих проектов (поиск проектных решений), удовлетворяющих требованиям технического задания (ТЗ), является актуальной задачей.

Автоматизация процесса поиска проектных решений позволит

сократить трудозатраты на всех этапах жизненного цикла проекта, повысить

производительность и качество проектирования. При этом при планировании

15

ресурсов и характеристик нового проекта или его версии полезна информация о времени выполнения, составе разработчиков, их активности, о характере процесса разработки в аналогичных проектах.

Автоматизация процесса поиска приводит к повышению производительности труда проектировщика; позволяет производить выбор проектных решений, используя больший объем информации для поиска, чем при неавтоматизированном поиске, при этом для анализа проектировщику автоматизированно предлагается группа проектов, схожих с планируемым.

Проектные решения выполненных проектов хранятся:

- в электронных архивах технической документации проектной организации;

- в базах данных систем технологической подготовки производства;

- в репозиториях систем отслеживания и управления проектами GIT, SVN, JIRA, TFS, Bugzilla, Trac, Mantis, Redmine, которые хранят характеристики реализованных проектов и позволяют, в том числе, отслеживать процесс проектирования.

При решении задачи автоматизации поиска проектных решений на основе данных, извлекаемых из технической документации проекта, известны два направления: 1) по текстовым характеристикам; 2) по числовым характеристикам проекта. При этом практикуется перевод некоторых текстовых характеристик в числовые путем введения метрик программного кода (см., например, [7],[16],[31],[55],[б0],[б2]), ранжированием (см., например, [17]), с помощью коэффициентов принадлежности характеристик проектных решений нечетким множествам (см., например, [11б]) и др.

Первое направление реализуется с использованием подходов на основе интегрального индекса, вычисляемого по множеству характеристик программных артефактов, и подходов на основе методов кластеризации, позволяющих группировать проекты по множеству текстовых характеристик.

В основном, поиск в хранилищах технической и проектной

документации ведется с использованием текстовых характеристик проектов.

Например, в системе Vitra-CAD (система управления документооборотом

16

электронной технической документации и инженерными данными на платформе Microsoft SharePoint) в корпорации ЭЛАР поиск документов производится по ключевым словам и индексам, т.е на основе первого подхода. Первое направление во многих работах реализуется с использованием онтологического подхода (Н.М. Боргест, Н.В. Лукашевич, Е.В. Биряльцев, А.М. Елизаров, Н.Г. Жильцов, В.В. Иванов, О.А. Невзорова, В.Д. Соловьев, В.В. Грибова, А.В. Иванова, Р.А. Субхангулов, А.М. Наместников, А.А. Филиппов и др.) При обработке электронного архива технической документации А.А. Филиппов, А.М. Наместников [148], [149] при структуризации технической документации используют подход на основе интегрального индекса, меру расстояния между документами, методы онтологического анализа предметной области, теорию графов, теорию нечетких систем (см. рисунок 1.1).

Рисунок 1.1 - Подход к поиску похожих проектных решений на основе интегрального индекса (Р - множество проектов, Ор.-описательные характеристики проектов)

Недостаток подхода на основе интегрального индекса - в том, что при интеграции характеристик может быть потеряна значимая информация.

Подходы на основе методов кластеризации, позволяющие группировать документы по множеству текстовых характеристик, используют В.Б. Барахнин, В.А. Нехаева, А.М. Федотов, Д.А. Ткачев, О.В. Пескова, Н.Г. Ярушкина, А.В. Чекина, А.А. Островский и др. Для кластеризации проектных документов из репозиториев САПР при анализе проектных решений Ярушкиной Н.Г., А.В. Чекиной [160] предлагается

«адаптивный алгоритм генетической кластеризации»; Ярушкиной Н.Г., А.А. Островским [118], [159] разработан «параллельный нечеткий алгоритм множественной кластеризации» проектной документации. При этом используется статическая кластеризация текстовой информации (см. рисунок

Методы кластеризации, нечеткие методы

Ключевые

_ь

слова

Рисунок 1.2 - Подход к поиску похожих проектных решений на основе статической кластеризации текстовой информации ( Р - множество проектов, Ор -описательные

характеристики проектов)

Ограничениями методов поиска с использованием текстовых характеристик являются неоднозначность терминов естественного языка, смена терминологии, поиск различных документов, в зависимости от выбора раздела документа, содержащего проектные решения.

Второе направление поиска проектных решений опирается на количественные характеристики проектов, содержащих проектные решения, поскольку техническая документация, представляемая в виде технического задания, эскизного и рабочего проекта, описание конечного продукта и его эксплуатационная документация содержат количественную информацию, которая может быть полезна для поиска проектных решений.

В ряде исследований зарубежных авторов, таких как Sh. Budhkarl, Dr. Arpita Gopal [16], S. Allier, S. Sadou, H. Sahraoui, R. Fleurquin [7], Ch. Srinivasa, V. Radhakrishnab, Dr.C.V.Guru Rao [60] и др. рассматриваются методы анализа и описания свойств программных проектов на основе

Поиск проектных Рх Е Р ч

решений

предварительно извлеченных числовых характеристик. Обычно, в качестве числовых характеристик используют метрики объектно-ориентированного программирования (подробнее об этом в пункте 1.2). M. Jureczko, L. Madeyski [31] в задаче прогнозирования дефектов описывают методику поиска похожих проектов с помощью кластеризации векторов, образованных из коэффициентов корреляции между метриками объектно-ориентированного программирования и количеством дефектов в проекте.

Кластеризация статических числовых характеристик проекта для поиска проектных решений (см. рисунок 1.3) используется в работах R.Schank [59], А.Б. Некрасова, Д.Э. Лысенко, Н.А. Соколовой [116], П.Р. Варшавского [86] и др. В качестве числовых характеристик проектных решений А.Б. Некрасов и др. [116] используют 4 показателя: функциональное сходство, структурное (конструктивное), параметрическое, технологическое сходство проектов, предлагая методику получения соответствующих интегративных показателей с использованием формализованного описания технического задания на разрабатываемый образец.

Список литературы диссертационного исследования кандидат наук Сибирев Иван Валерьевич, 2019 год

СПИСОК ЛИТЕРАТУРЫ

1. Abdel-Hamid T., Madnick S.E. Software Project Dynamics: An Integrated Approach. Englewood Cliffs, Prentice Hail, New York, 1991. 264 p.

2. Afanasieva T., Egorov Y., Savinov N. About Transformations of a Numerical Time Series using a Linguistic Variable // In Proceedings of the Second International Scientific Conference "Intelligent Information Technologies for Industry" (ПТТ17), 2017. pp. 226-233.

3. Afanasieva T., Sapunkov A. Selection of Time series Forecasting Model Using a Combination of Linguistic and Numerical Criteria // In Proceedings of 2016 IEEE 10th International Conference on Application of Information and Communication Technologies (AICT), 2016. pp. 341-345.

4. Afanasieva T., Yarushkina N., Sibirev I. Time Series Clustering using Numerical and Fuzzy Representations // In Proceedings of Joint 17th World Congress of lnternational Fuzzy Systems Association and 9th International Conference on Soft Computing and Intelligent Systems IFSA-SCIS 2017, Otsu, Shiga, Japan, June 27-30, 2017. [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/publication/319568944_Time_ series_clustering_using_numerical_and_fuzzy_representations (дата обращения: 11.05.2018).

5. Afanasieva T., Yarushkina N., Toneryan M., Zavarzin D., Sapunkov A., Sibirev I. Time series forecasting using fuzzy techniques // In Proceedings Of Joint 16th World Congress of the International Fuzzy Systems Association and 9th Conference of the European Society for Fuzzy Logic and Technology IFSA-EUSFLAT 2015, Gijon, Asturias, Spain, 2015. pp. 1068-1075.

6. Agrawal R., Faloutsos C., Swami A. Efficient Similarity Search In Sequence Databases // In Proc. of the 4th International Conference on Foundations of Data Organization and Algorithms (FODO '93), David B. Lomet (Ed.). Springer-Verlag, London, UK, 1993. pp. 69-84.

7. Allier S., Sadou S., Sahraoui H., Fleurquin R. From Object-Oriented

Applications to Component-Oriented Applications via Component oriented Architecture // Ninth Working IEEE/IFIP Conference on Software Architecture, 2011. pp. 214-223.

8. Argyros T., Ermopoulos C. Efficient Subsequence Matching in Time Series Databases Under Time and Amplitude Transformations // Third IEEE International Conference on Data Mining, 2003. [Электронный ресурс]. - Режим доступа: https://pdfs.semanticscholar.org/2a12/ 5e4a9596cfe3605971caa0fc92c1df16ebac.pdf (дата обращения: 11.05.2018).

9. Atkins D., Ball T., Graves T., Mockus A. Using version control data to evaluate the impact of software tools: A case study of the version editor // IEEE Transactions on Software Engineering, 28(7), 2002. pp. 625-637.

10. Atkins D., Mockus A., Siy H. Measuring technology effects on software change cost // Bell Labs Technical Journal, 5(2), 2000. pp. 7-18.

11. Bagnall A., Lines J., Bostrom A., Large J., Keogh E. The Great Time Series Classification Bake Off: A Review and Experimental Evaluation of Recently Proposed Algorithms. Data Mining and Knowledge Discovery, 2016. pp. 1-55.

12. Bell R., Ostrand T., Weyuker E. 2006. Looking for Bugs in all the right places // In Proceeding of the 2006 International Symposium on Software Testing and Analysis (Portland, USA, July 17-20, 2006). ISSTA 2006. ACM Press New Your, NY, 2006. pp. 61-72.

13. Bernard D. Clustering Indices. University Paris Ouest. Lab Modal'X, 2013. 34 p.

14. Bolch B.W., Huang C.J. Multivariate statistical methods for business and economics. Prentice-Hall, 1973. 329 p.

15. Box G.E., Jenkins G.M., Reinsel G.C. Time series Analysis: Forecasting and Control. Prentice Hall, 1994. 614 p.

16. Budhkarl S., Gopal A. Component identification from existing object

oriented system using Hierarchical clustering // IOSR Journal of Engineering, Vol. 2(5), 2012. pp. 1064-1068.

17. Busse L.M., Orbanz P., Buhmann J.M. Cluster Analysis of Heterogeneous Rank Data // In Proceedings of the 24th international conference on Machine learning (Corvalis, Oregon, USA — June 20 - 24, 2007), 2007. pp. 113-120.

18. Chan K., Fu A. W. Efficient Time Series Matching by Wavelets // In Proc. of the 15th IEEE Int. Conference on Data Engineering. Sydney, Australia. Mar 23-26, 1999. pp. 126-133.

19. Christopher A., Ishikawa S., Murray S., Max J., Fiksdahl-King I., Shlomo A.A. Pattern Language: Towns, Buildings, Construction. New York, Oxford University Press, 1977. 1216 p.

20. Crystal Clear [Электронный ресурс]. - Режим доступа: URL: https://worksection.com/blog/crystal-clear.html (дата обращения: 11.05.2018).

21. Cubranic D., Murphy G.C., Singer J., Booth K. S. Hipikat: A project memory for software development // IEEE transactions on software engineering, 31(6), 2005. pp. 446-465.

22. Data set of time series, In CIF-2016. [Электронный ресурс]. - Режим доступа: http://irafm.osu.cz/cif/main.php?c=Static&page=dates (дата обращения: 11.05.2018).

23. Diday E. The symbolic approach in clustering and related methods of data analysis: The basic choices // In Proc. the 1st Conference of the International Federation of Classification Societies (IFCS), Bock H H (ed.), North Holland, 1988. pp.673-684.

24. Geppert B., Mockus A., Robler F. Refactoring for changeability: A way to go? // In Proc of 11th IEEE International Software Metrics Symposium (METRICS'05), Como, Italy, 2005. DOI: 10.1109/METRICS.2005.40

25. Herbsleb J.D., Mockus A., Finholt T.A., Grinter R.E. An empirical study of global software development: Distance and speed // In 23nd International Conference on Software Engineering, Toronto, Canada, May 12-19, 2001. pp. 81-90.

26. ISO 21500:2012 Guidance on project management. [Электронный ресурс]. - Режим доступа: URL: https://www.iso.org/obp/ui/#iso:std:iso: 21500:ed-1:v1:en (дата обращения: 14.09.2018).

27. ISO/IEC/IEEE 12207:2017 System and software engineering — Software life cycle processes. [Электронный ресурс]. - Режим доступа: https://www.iso.org/ru/standard/63712.html (дата обращения: 11.05.2018).

28. ISO/IEC TR 19759:2015 (the IEEE Computer Society) Software Engineering - Guide to the software engineering body of knowledge (SWEBOK). [Электронный ресурс]. - Режим доступа: https://www.iso.org/standard/ 67604.html (дата обращения: 13.10.2018).

29. Jain A.K., Dubes R.C. Algorithms for Clustering Data. Prentice-Hall advanced reference series. Prentice-Hall, Inc., Upper Saddle River, NJ, 1988. 334p.

30. Jain A.K., et al. Data Clustering: A Review ACM Computing Surveys, Vol.31, No. 3, 1999. pp. 265-323.

31. Jureczko M., Madeyski L. Towards identifying software project clusters with respect to defect prediction PROMISE. Wroclaw University of Technology, Poland, 2010. [Электронный ресурс]. - Режим доступа: URL: http: //madeyski. e-informatyka. pl/download/Jureczko Madeyski10f.pdf (дата обращения: 11.05.2018).

32. Jureczko, M., Spinellis D. Using Object-Oriented Design Metrics to Predict Software Defects // In Models and Methods of System Dependability. Oficyna Wydawnicza Politechniki Wroclawskiej, 2010. pp. 69-81.

33. Kacprzyk J., Wilbik A., Zadrozny S. Linguistic Summarization of Trends:

A Fuzzy Logic Based Approach // In Proc. of the 11th International Conference Information Processing and Management of Uncertainty in Knowledge-based Systems, 2006. pp. 2166-2172.

34. Kaczmarec K., Hryniewicz O. Time Series Classification with Linguistic Summaries // In Proc. of IFSA-EUSFLAT, 2015. pp. 471-477.

35. Kim M., Notkin D. Using a clone genealogy extractor for understanding and supporting evolution of code clones // ACM SIGSOFT Software Engineering, 2005. Notes 30 (4). pp. 1-5.

36. Lee T., Zhang R., XiaoY., Dean J. Feature Extraction Methods for Time Series Data in SAS. SAS Institute, Inc. 2014. [Электронный ресурс]. -Режим доступа: https://support.sas.com/rnd/app/data-mining/enterprise-miner/papers/2014/fetimeseriesem2014.pdf (дата обращения: 11.05.2018).

37. Liao T.W. Clustering of time series data - a survey-Pattern recognition, Elsevier, 2005. pp. 1857-1874.

38. Lin J., Keogh E., Lonardi S., Chiu B. Y. A symbolic representation of time series, with implications for streaming algorithms//In DMKD,2003.pp.2-11.

39. Location and Number of Faults in Large Software Systems. IEEE Trans. on Software Engineering, 31(4), 2005. pp. 340-355. DOI= http : //dx.doi. org/10.1109/TSE.2005.49

40. Makridakis S., Wheelwright S.C., Hyndman R.J. Forecasting methods and applications. John Wiley & Sons, Inc., 1998. 642 p.

41. Mockus A. Analogy based prediction of work item flow in software projects: a case study // In 2003 International Symposium on Empirical Software Engineering, Rome, Italy, ACM Press,2003. pp. 110-119.

42. Mockus A. Empirical estimates of software availability of deployed systems // In 2006 International Symposium on Empirical Software Engineering, page to appear, Rio de Janeiro, Brazil, September 21-22. ACM Press, 2006. pp. 222-231.

43. Mockus A. How to run empirical studies using project repositories // 4th

International Advanced School of Empirical Software Engineering, September 20, 2006, Rio de Janeiro, Brazil 2006. Tutorial. [Электронный ресурс]. - Режим доступа: http://mockus.org/papers/isese06tutorial.pdf (дата обращения: 11.05.2018).

44. Mockus A., Herbsleb J. Expertise browser: A quantitative approach to identifying expertise // In 2002 International Conference on Software Engineering, Orlando, Florida, May 19-25. ACM Press, 2002. pp. 503-512.

45. Mockus A., Weiss D. M. Globalization by chunking: a quantitative approach // IEEE Software, 2001. 18(2). pp. 30-37.

46. Mockus A., Weiss D.M. Predicting risk of software changes // Bell Labs Technical Journal, 2000. 5(2). pp. 169-180.

47. Mori U., Mendiburu A., Lozano J. A. Experimental Comparison of Representation Methods and Distance Measures for Time Series Data. In Data Mining and Knowledge Discovery, 2012. 26(2). pp. 275-309.

48. Nagappan N., Ball T., Zeller A. Mining Metrics to Predict Component Failures // In Proceedings of the 28th International Conference on Software Engineering, Shanghai, China, May 20-28, ICSE'06. ACM Press New Your, NY, 2006. рр. 452-461.

49. Novak V, Perfilieva I., Dvorak A. Insight into Fuzzy Modeling. Wiley, 2016. 269 p.

50. Novak V. Linguistic characterization of time series // In Fuzzy Sets and Systems, 285, 2016. pp. 52-72.

51. Obrenovic Z. Software Sketchifying: Bringing Innovation into Software Development // Issue No. 03, vol. 30. 2013. pp. 80-86.

52. Olague H.M., Etzkorn, L.H, Gholston S., Quattlebaum S. Empirical Validation of Three Software Metrics Suites to Predict Fault-Proneness of Object-Oriented Classes Developed Using Highly Iterative or Agile. Software Development Processes // IEEE Transaction on Software Engineering, 2007. Vol. 33, no. 6. pp. 402-419.

53. Ostrand, T., Weyuker, E., Bell, R. Predicting the Location and Number of Faults in Large Software Systems // IEEE Transactions on Software Engineering, 2005. 31(4). pp. 340-355.

54. Perfilieva I. Fuzzy transforms: theory and applications. In Fuzzy Sets and Systems. 2006. Vo. 157, issue 8. pp. 993-1023. [Электронный ресурс]. -Режим доступа: https://doi.org/10.1016/j.fss.2005.11.012 (дата обращения: 11.05.2018).

55. Purao S., Vaishnavi V.K. Product metrics for object-oriented systems. ACM Computing Surveys 35, 2, 2003. pp. 191-221. [Электронный ресурс]. - Режим доступа: http://doi.acm.org/10.1145/857076.857090 (дата обращения: 11.05.2018).

56. RAD - Rapid Application Development [Электронный ресурс]. - Режим доступа: https://wiki2.org/ru/RAD_(программирование)#История (дата обращения: 11.05.2018).

57. Rahman M.M., Davis D.N. Fuzzy Unordered Rules Induction Algorithm Used as Missing Value Imputation Methods for K-Mean Clustering on Real Cardiovascular Data. [Электронный ресурс]. - Режим доступа: http: //www2.dcs. hull. ac. uk/NEAT/dnd/papers/Fuzzy_InductionAlgorithm_ MVI.pdf. (дата обращения: 11.05.2018).

58. Schank R. Dynamic Memory: A Theory of Learning in Computers and People. - New York: Cambridge University Press, 1982. 205p.

59. Sibirev I., Afanasyeva T. Development and Study of a Combined Algorithm for Temporal Series Clustering // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2017): материалы Междунар. научно-техн. конф. - Минск : БГУИР, 2017. -С. 121-126.

60. Srinivas С, Radhakrishna V, Guru Rao C.V. Clustering and Classification of Software Component for Efficient Component Retrieval and Building Component Reuse Libraries // 2nd International Conference on Information

Technology and Quantitative Management, ITQM 2014, 2014. pp. 10441050.

61. Tunnell J.W. Using Time Series Models for Defect Prediction in Software Release Planning. Central Washington University, Electronic Theses Student Scholarship and Creative Works, 2015. D0I:10.18293/SEKE2015-174

62. Wahyudin D., Ramler R., Biffl S. A framework for Defect Prediction in Specific Software Project Contexts // In Proceedings of the 3rd IFIP Central and East European Conference on Software Engineering Techniques CEE-SET 2008, Brno, Czech Republic, October 13-15, 2008. pp. 295-308.

63. Wang X., Mueen A., Ding H., Trajcevski G., Scheuermann P., Keogh E. Experimental Comparison of Representation Methods and Distance Measures for Time Series Data // In Data Mining and Knowledge Discovery, 2013. 26(2). pp. 275-309.

64. Wang X., Smith K.A., Hyndman R.J. Characteristic-based Clustering for Time Series Data//Data Mining and Knowledge Discovery, 13(3), 2006. pp. 335-364.

65. Weyuker, E.J., Ostrand T.J., Bell R.M. Adapting a Fault Prediction Model to Allow Widespread Usage // In Proceedings of the 4th International Workshop on Predictive Models in Software Engineering, Leipzig, Germany, May 12-13, 2008. pp. 19-24.

66. Weyuker, E.J., Ostrand T.J., Bell R.M. Do too many cooks spoil the broth? Using the number of developers to enhance defect prediction models // Empirical Software Engineering, 13(5), 2006. pp. 539-559.

67. Ying A.T., Murphy G.C., Ng R., Chu-Carroll M.C. Predicting source code changes by mining change history // IEEE Transactions of Software Engineering, 30(9), 2004. pp. 574-586.

68. Zadeh L.A. Is there a need for fuzzy logic? // Information Sciences, Elsevier, 178(13), 2008. pp. 2751-2779.

69. Zimmermann T., Nagappan N., Gall H., Giger E., Murphy B. Cross-project Defect Prediction // In Proceedings of the 7th joint meeting of the European Software Engineering Conference and the ACM SIGSOFT Symposium on the Foundations of Software Engineering, ESEC/FSE 2009, Amsterdam, The Netherlands, August 24-28, 2009. рр. 91-100.

70. Zimmermann T., Weissgerberv P., Diehl S., Zeller A. Mining version histories to guide software changes // IEEE Transactions of Software Engineering, 30(9), 2004. pp. 429-445.

71. Zolhavarieh S., Aghabozorgi S.R., The Y.W. A Review of Subsequence Time Series Clustering // In Scientific World Journal, Vo. 2014, Article ID 312521, 19 pp. [Электронный ресурс]. - Режим доступа: URL: shttp://dx.doi.org/ 10.1155/2014/312521 (дата обращения: 11.05.2018).

72. Автоматизация технологической подготовки производства. [Электронный ресурс]. - Режим доступа: https://msd.com.ua/osnovy-texnologii-mashinostroeniya/avtomatizaciya-texnologicheskoj-podgotovki-proizvodstva/ (дата обращения: 11.05.2018).

73. Алгоритм восстановления данных по файловым «сигнатурам». [Электронный ресурс]. - Режим доступа: https: //spark.ru/startup/hetmansoftware/blog/9391/algoritm-vosstanovleniya-dannih-po-fajlovim-signaturam (дата обращения: 11.05.2018).

74. Афанасьева, Т.В. Метод прогнозирования временных рядов на основе нечетких тенденций / Т.В. Афанасьева // 202 Труды Седьмой Международной конференции «Математическое моделирование физических, экономических, технических, социальных систем и процессов». - Ульяновск: УлГУ, 2009. - С. 33-35.

75. Афанасьева, Т.В. Моделирование нечетких тенденций временных рядов / Т.В. Афанасьева. - Ульяновск: УлГТУ, 2013. - 215 с.

76. Афанасьева, Т.В. Преобразования числового временного ряда с

использованием лингвистической переменной значений / Т.В. Афанасьева // Сборник научных трудов Первой Всероссиской научно-практической конференции Нечеткие системы и мягкие вычисления. Промышленные применения. Fuzzy Technologies in Industry (FTI-2017). - Ульяновск: УлГТУ, 2017. - С. 334-340.

77. Афанасьева, Т.В. Алгоритм поиска и удаления аномалий временных рядов на основе применения кластеризации / Т.В. Афанасьева, Д.В. Заварзин, И.В. Сибирев // Радиотехника. - 2015. - №6 . - С. 59-62. [Электронный ресурс]. - Режим доступа: http://www.radiotec.ru/article/16468 (дата обращения: 11.05.2018).

78. Афанасьева, Т.В. Моделирование лингвистических оценок на основе ACL-шкалы / Т.В. Афанасьева, А.О. Козлов, А.А. Ивахина // Труды V Международной научно-практической конференции «Интегрированные модели и мягкие вычисления» (Коломна, 20-30 мая 2009 г.). - Т.2. - М. : Физматлит, 2009. - С. 298-304.

79. Афанасьева, Т.В. Сервис Прогнозирования на основе комбинирования моделей нечётких временных рядов и ARIMA / Т.В. Афанасьева, А.А. Сапунков, Д.В. Заварзин, И.В. Сибирев, А.А. Морозов // Пятнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2016: труды конференции. -Смоленск: Универсум, 2016. - Т 1. - С. 229-236. [Электронный ресурс]. - Режим доступа: https://elibrary.ru/item.asp?id=27307930 (дата обращения: 11.05.2018).

80. Афанасьева, Т.В. Программа «Сегментация рынка IT» / Т.В. Афанасьева, И.В. Сибирев // Инновации в науке. - Новосибирск: Изд. СибАК, 2014.- С. 46-53. [Электронный ресурс]. - Режим доступа: https://sibac.info/conf/innovation/xxix/36617 (дата обращения: 11.05.2018).

81. Афанасьева, Т.В. Исследование точности алгоритма восстановления

данных на основе нечеткой кластеризации / Т.В. Афанасьева, И.В. Сибирев // Радиотехника. - 2018. - № 6. - С. 50-53.

82. Афанасьева, Т.В. Применение нечетких моделей в анализе процессов в организационно-технических системах / Т.В. Афанасьева, И.В.Сибирев, Д.В. Заварзин // Автоматизация процессов управления. - 2018 -№ 1(51). - С. 83-90.

83. Брукс, Ф. Мифический человеко-месяц или как создаются программные системы / Ф. Брукс. - Пер. с англ. - СПб.: СимволПлюс, 2007. - 304 с.

84. Бубновский, И. 12 методологий разработки ПО. [Электронный ресурс]. - Режим доступа: URL: https://geekbrains.ru/ posts/methodologies (дата обращения: 11.05.2018).

85. Валов, А.В. Методы автоматизированного проектирования электропривода: учебное пособие / А.В. Валов. - Челябинск: ЮУрГУ, 2015. -Ч. 1.-73с.

86. Варшавский, П.Р. Применение метода аналогий в рассуждении на основе прецедентов для интеллектуальных систем поддержки принятия решений /П.Р. Варшавский // Тр. Девятой нац. конф. по искусственному интеллекту с междунар. участием КИИ-2004. В 3-х т. Т.1. - М.: Физматлит, 2004. - С. 218-226.

87. Вендров, A.M. Проектирование программного обеспечения экономических информационных систем: Учебник / A.M. Вендров. -М.: Финансы и статистика, 2005. - 544 с.

88. Вятченин, Д.А. Нечёткие методы автоматической классификации: Монография /Д.А. Вятченин.- Минск: УП "Технопринт", 2004. - 219 с.

89. Глушань, В.М. Нечёткие модели и методы многокритериального выбора в интеллектуальных системах поддержки принятия решений / В.М. Глушань, В.П. Карелин, О.Л. Кузьменко // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - С. 106-113.

90. Горлушкина, Н.Н. Системный анализ и моделирование информационных процессов и систем / Н.Н. Горлушкина. - СПб: Университет ИТМО, 2016. - 120 с.

91. ГОСТ 19.102-77 ЕСПД. Единая система программной документации. Стадии разработки. [Электронный ресурс]. - Режим доступа: http://docs.cntd.ru/document/gost-19-102-77 (дата обращения: 11.05.2018).

92. ГОСТ 24.703-85 Единая система стандартов автомтизированых систем управления. Типовые проектные решения в АСУ. Основные положения. - М.: Стандартинформ, 2009. - 4 с.

93. ГОСТ Р 57193-2016 Системная и программная инженерия. Процессы жизненного цикла систем. - М.: Стандартинформ, 2016. - 95 с.

94. ГОСТ Р 57102-2016 Информационные технологии. Системная и программная инженерия. Управление жизненным циклом. - М.: Стандартинформ, 2016. - 68 с.

95. ГОСТ 22487-77 Проектирование автоматизированное. Термины и определения. [Электронный ресурс]. - Режим доступа: http://docs.cntd.ru/ document/822919689 (дата обращения: 11.05.2018).

96. ГОСТ 23501.101-87 Системы автоматизированного проектирования. Основные положения. [Электронный ресурс]. - Режим доступа: http://docs.cntd.ru/document/1200012840 (дата обращения: 11.05.2018).

97. ГОСТ 34.003-90 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения. - М.: Стандартинформ, 2009. - 10 с.

98. ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы стадии создания.- М.: Стандартинформ, 2009. - 6 с.

99. ГОСТ Р 54869-2011. Проектный менеджмент. Требования к управлению проектом. - М.: Стандартинформ, 2012. - 10 с.

100. ГОСТ Р ИСО 10006-2005 Система менеджмента качества. Руководство по менеджменту качества при проектировании. - М.: Стандартинформ, 2007. - 28 с.

101. ГОСТ Р ИСО 21500-2014 Руководство по проектному менеджменту. -М.: Стандартинформ, 2015. - 46 с.

102. ГОСТ Р ИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств. - М.: Стандартинформ, 2011. - 105 с.

103. ГОСТ Р ИСО/МЭК ТО 9294-93 Информационная технология. Руководство по управлению документированием программного обеспечения. [Электронный ресурс]. - Режим доступа: http://docs.cntd.ru/ document/gost-r-iso-mek-to-9294-93 (дата обращения: 11.05.2018).

104. ГОСТ 19.101-77 Единая система программной документации. Виды программ и программных документов. [Электронный ресурс]. - Режим доступа: http://techwrconsult.com/library/19.102-77.pdf (дата обращения: 11.05.2018).

105. Интеллектуальные системы: коллективная монография. Вып. 3 / Редкол.: В.М. Курейчик и др. - М.: Физматлит, 2009. -196 с.

106. Исаев, Г.Н. Модель автоматической коррекции ошибок при обработке данных в задачах улучшения качества информационного сервиса / Г.Н. Исаев // Электротехнические и информационные комплексы и системы. - 2011. -№ 2, т. 7. - С. 19-23.

107. Киреев, В.С. Оценка результатов кластеризации при использовании различных критериев качества / В.С. Киреев // Программные продукты и системы. Московский инженерно-физический институт. - 2009. - № 3.- С. 36 -39.

108. Книберг, Х. Kanban и Scrum: выжимаем максимум / Х. Книберг, М. Скарин. - Media, Издательство InfoQ.com, 2010. - 78 с.

109. Комплексная модель производительности и зрелости - CMMI. [Электронный ресурс]. - Режим доступа: https://habr.com/post/79130/ (дата обращения: 13.10.2018).

110. Курейчик, В.В. Оптонечёткие системы / В.В. Курейчик, В.М. Курейчик, С.М. Ковалев // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - С. 99-105.

111. Курейчик, В.М. Особенности построения систем поддержки принятия решений / В.М. Курейчик // Известия ЮФУ. Технические науки. -2012. - № 7 (132). - С. 92-98.

112. Липаев, В.В. Проектирование и производство сложных заказных программных продуктов / В.В. Липаев. - М.: СИНТЕГ, 2011. - 408 с.

113. Литтл, Р.Дж.А. Статистический анализ данных с пропусками / Р.Дж.А. Литтл, Д.Б. Рубин. Пер. с англ. - М.: Финансы и статистика,1990. -336 с.

114. Масальских, А.В. Параллельный алгоритм одного метода восстановления табличных данных / А.В. Масальских // Известия Тульского государственного университета. Естественные науки, Вып.3.-2014.- С.167-177.

115. Методы оценки персонала [Электронный ресурс]. - Режим доступа: http://diplomba.ru/work/30404 (дата обращения: 11.08.2017).

116. Некрасов, А.Б. Метод кластеризации и оценки множества аналогов проектных решений / А.Б. Некрасов, Д.Э. Лысенко, Н.А. Соколова // Збiрник наукових праць Харювського ушверситету Повггряних Сил iм. I. Кожедуба, 2008, випуск 2(17). - С. 141-145.

117. Основы UML — диаграммы использования (use-case) [Электронный ресурс]. - Режим доступа: https://pro-prof.com/archives/2594 (дата обращения: 11.05.2018)

118. Островский, А.А. Кластеризация документов интеллектуального проектного репозитария на основе FCM метода / А.А. Островский //

Программные продукты и системы.- 2008. -№4. - С. 55 - 56.

119. Оценка персонала - система, методы и критерии оценки. [Электронный ресурс]. - Режим доступа: http://grandars.ru/college/biznes/ocenka-personala.html (дата обращения:

11.08.2017).

120. Полковникова, Н.А. Разработка модели экспертной системы на основе нечёткой логики / Н.А. Полковникова, В.М. Курейчик // Известия ЮФУ. Технические науки. -2014. -С.83-92.

121. Пример разработки эскизного проекта на автоматизированную систему [Электронный ресурс]. - Режим доступа: http://filling-form.ru/dogovor/74428/index.html (дата обращения: 11.05.2018).

122. Пример эскизного проекта. [Электронный ресурс]. - Режим доступа: https://studref.eom/311878/informatika/prilozhenie_primer_eskiznogo_pro ekta (дата обращения: 11.05.2018).

123. Программирование генератора псевдослучайных чисел на С++. [Электронный ресурс]. - Режим доступа: http://www.quizful.net/post/ programming-random-number-generator-on-cpp(дата обращения:

13.10.2018)

124. Разработка предложений по внедрению гибких методологий в территориально распределенных проектах разработки программного обеспечения. [Электронный ресурс]. - Режим доступа: https://studwood.ru/571459/informatika/feature_driven_development (дата обращения: 11.05.2018).

125. Разработка эскизного проекта. [Электронный ресурс]. - Режим доступа: https://infopedia.su/13x6624.html (дата обращения: 11.05.2018).

126. РД 50-34.698-90 «Пояснительная записка к эскизному проекту на создание автоматизированной системы» [Электронный ресурс]. -Режим доступа: http://docs.cntd.ru/document/1200006978 (дата

обращения: 11.05.2018).

127. Румянцева, В.А. Практикум по моделированию систем. Методическое пособие / В.А. Румянцева. - М.: МГГУ, 2008. - 36с.

128. Сапунков, А.А. Модификация программного обеспечения fuzzyforecast / А.А. Сапунков, И.В. Сибирев // Прикладные информационные системы: вторая Всероссийская научно-практическая конференция: сборник научных трудов. - Ульяновск: УлГТУ, 2015. - С. 90-96.

129. Сибирев, В.В. Кластеризация общеобразовательных организаций ульяновской области по использованию информационно-коммуникационных технологий / В.В. Сибирев, И.В. Сибирев // Поволжский педагогический поиск. - 2015. -№ 1 (11). - С. 64-68. (http://www.ulspu.ru/science/ sci_journal_pov_ped_poisk/)

130. Сибирев, И.В. Автоматизация группировки процессов разработки программного обеспечения из репозиториев с использованием нечеткой тенденции / И.В. Сибирев // 52 НТК ППС «Вузовская наука в современных условиях». Ч.2. -Ульяновск: УлГТУ, 2018. - С. 112-115

131. Сибирев, И.В. Быстродействие программной реализации алгоритма «восстановление данных» / И.В. Сибирев // Информатика и вычислительная техника: VIII Всероссийская научно-техническая конференция аспирантов, студентов и молодых ученых ИВТ-2016. -Ульяновск: УлГТУ, 2016. - С. 227-231.

132. Сибирев, И.В. Индексы оценки результатов кластеризации // Нечеткие системы, мягкие вычисления и интеллектуальные технология (НСМВИТ-2017) / И.В. Сибирев // Труды VII Всероссийской научной-практической конференции. - СПб.: Политехника-сервис, 2017. - Т. 1. - С. 129-138. (https://elibrary.ru/ item.asp?id=30320041)

133. Сибирев, И.В. Исследование эффективности FBC-кластеризации, как средства автоматизации анализа процессов / И.В. Сибирев //

Молодежная научно-техническая конференция «Автоматизация процессов управления». - Ульяновск: «Марс», 2018. - С. 97-107.

134. Сибирев, И.В. Предобработка данных в интеллектуальном анализе на основе восстановления пропущенных анкетных значений / И.В. Сибирев // Пятнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2016: труды конференции. - Смоленск: Универсум, 2016.-Т1.- С. 378-386 (https://elibrary.ru/item.asp?id=27307604)

135. Сибирев, И.В. Применение FBC-кластеризации временных рядов к анализу динамики оценок персонала / И.В. Сибирев // Нечеткие системы и мягкие вычисления. Промышленные применения (FTI-2017): Первая Всероссийская научно-практическая конференция: сборник научных трудов . - Ульяновск: УлГТУ, 2017. - С. 149-158. (http: //nsmv.ul stu.ru/wp-content/uploads/2017/СборникРТ1_2017_ compressed.pdf)

136. Сибирев, И.В. Программа генератор исходных данных для кластеризации / И.В. Сибирев // В сборнике: Нечеткие системы и мягкие вычисления. Промышленные применения: IV Всероссийской научно-практ. мультиконференции с международным участием «Прикладные информационные системы (ПИС-2017)». - Ульяновск, УлГТУ, 2017. - С. 171-174. (http://venec.ulstu.ru/lib/disk/2017/152.pdf)

137. Сибирев, И.В. Алгоритм предобработки и восстановления анкетных данных / И.В. Сибирев, Т.В. Афанасьева // Открытые семантические технологии проектирования интеллектуальных Систем (0STIS-2016): материалы VI Междунар. научно-техн. конф. - Минск : БГУИР, 2016. - С. 271-274. (http://conf.ostis.net/images/e/e3/40._Сибирев_И.В._-_АлгорПиВАД^1)

138. Сибирев, И.В. Анализ эффективности алгоритма восстановления анкетных данных / И.В. Сибирев, Т.В. Афанасьева // Электронное

обучение в непрерывном образовании 2016: III Международная научно-практическая конференция: сборник научных трудов. -Ульяновск : УлГТУ, 2016. - С. 367-373. (https://elibrary.ru/item.asp?id=26111591)

139. Сибирев, И.В. Исследование F-TRANSFORM для извлечения основной тенденции временного ряда / И.В. Сибирев, Т.В. Афанасьева // Интегрированные модели и мягкие вычисления в искусственном интеллекте: 8-я Международная научно-техническая конференция: сборник научных трудов. - М.: Физматлит, 2015. - С. 356-360.

140. Сибирев, И.В. Описание программного продукта «Кластеризация данных» / И.В. Сибирев, Т.В. Афанасьева // Прикладные информационные системы: вторая Всероссийская научно-практическая конференция: сборник научных трудов. - Ульяновск: УлГТУ, 2015. - С. 90-96 (https://elibrary.ru/item.asp?id=24779132)

141. Слуцков, Д. Методологии разработки программного обеспечения. [Электронный ресурс]. - Режим доступа: https://sites.google.com/site/sloutskov/metodologii-razrabotki-programmnogo-obespecenia (дата обращения: 11.05.2018).

142. Соснин, П.И. Гибкое управление в проектировании автоматизированных систем: учебное пособие / П.И. Соснин, Ю.А. Лапшов, В.А. Маклаев, К.В. Святов. - Ульяновск : УлГТУ, 2015.-204с.

143. Соснин, П.И. Архитектурное моделирование автоматизированных систем: учебное пособие/П.И. Соснин.-Ульяновск:УлГТУ,2008 - 147с.

144. Справочник базовых цен на разработку технической документации на автоматизированные системы управления технологическими процессами. [Электронный ресурс]. - Режим доступа: http://base.garant.ru/70756414/ (дата обращения: 11.05.2018).

145. Тимофеев, А.Н Мифический Waterfall. [Электронный ресурс]. - Режим доступа: http://reqcenter.pro/waterfall-myths/ (дата обращения:

11.05.2018).

146. Ту, Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес. Перевод с английского Гуревича И.Б. под редакцией Журавлева Ю.И. - М.: Мир. 1978. - 414 с.

147. Управление персоналом. Санкт-Петербургский государственный электротехнический университет. [Электронный ресурс]. - Режим доступа: https://studfiles.net/preview/938148/(дата обращения: 11.08.2017).

148. Филиппов, А.А. Концептуальная индексация проектных документов / А.А. Филиппов, А.М. Наместников // Автоматизация процессов управления №2(20). - 2010. - С. 34-39.

149. Филиппов, А.А. Реализация системы кластеризации концептуальных индексов проектных документов / А.А. Филиппов, А.М. Наместников // Автоматизация процессов управления №3(25). - 2011. - С. 46-50.

150. Халафян, А.А. Statistica 6. Статистический анализ данных. Учебник / А.А. Халафян. -М.: OOO «Бином-Пресс», 2007. - 512 с.

151. Чемеков, В. Оценка по KPI работников бэк-офиса. Разберем по шагам. [Электронный ресурс]. - Режим доступа: http://hr-media.ru/otsenka-po-kpi-rabotnikov-bek-ofisa-razberem-po-shagam/ (дата обращения: 11.08.2017).

152. Якубович, М. Успешность IT-проектов. Мировая статистика выполненных проектов. [Электронный ресурс]. - Режим доступа: http: //proj ect-management.zis.by/drugoe/vestibulum_iaculis.html (дата обращения: 11.05.2018).

153. Ярушкина, Н.Г. Основы теории нечетких и гибридных систем: учебное пособие / Н.Г. Ярушкина. - М.: Финансы и статистика, 2004. -320 с.

154. Ярушкина, Н.Г. Интеллектуальный анализ временных рядов : учебное пособие / Н.Г. Ярушкина, Т.В. Афанасьева, И.Г. Перфильева. -

Ульяновск : УлГТУ, 2010. - 320 с.

155. Ярушкина, Н.Г. Современный интеллектуальный анализ нечетких временных рядов / Н.Г. Ярушкина // Интегрированные модели и мягкие вычисления в искусственном интеллекте: сб. науч. тр. У-й междунар. науч.-практ. конф. В 2-х т. - 2009. - Т. 1. - С. 19-29.

156. Ярушкина, Н.Г. Метод нечеткого моделирования и анализа тенденций временных рядов / Н.Г. Ярушкина, Т.В. Афанасьева // Интеллектуальные системы управления. Коллективная монография. Под ред. Академика РАН С.Н. Васильева. - М.: Машиностроение, 2010. - С. 301-305.

157. Ярушкина, Н.Г. Интегральный метод нечеткого моделирования и анализа нечетких тенденций / Н.Г. Ярушкина, Т.В. Афанасьева, И.Г. Перфильева // Автоматизация процессов управления. - 2010. - № 2 (20). - С. 59-64.

158. Ярушкина, Н.Г. Исследование ИТ-кластера Ульяновской области / Н.Г. Ярушкина, Т.В. Афанасьева, О.В. Шиняева и др. - Ульяновск: УлГТУ, 2013. - 137 с.

159. Ярушкина, Н.Г. Параллельный алгоритм FCM-кластеризации / Н.Г. Ярушкина, А.А. Островский// Известия Самарского научного центра Российской академии наук. - 2008. - № 10. - С. 212-218

160. Ярушкина, Н.Г. Кластеризация информационных ресурсов на основе генетического алгоритма / Н.Г. Ярушкина, А.В. Чекина // Автоматизация процессов управления. - 2010. - №4.- С. 66-70

ПРИЛОЖЕНИЯ

ПРИЛОЖЕНИЕ 1. Результаты вычислительных экспериментов

ПРИЛОЖЕНИЕ 1.1. Восстановление пропусков числовых таблиц для сервиса балансировки АО «Авиастар-СП»

Проводился вычислительный эксперимент, цель которого - апробация программного средства, реализующего алгоритм восстановления недостающих данных, предназначенного для сервиса балансировки АО «Авиастар-СП». Цель вычислительного эксперимента - оценить точность восстановления предлагаемым методом при сравнении восстановленных данных с исходными данными, часть из которых удалена; сравнить оценки точности с результатами заполнения пробелов таблицы средними арифметическими значениями по столбцам таблицы (именно такой способ наиболее популярен при предобработке таблиц с пропусками).

Входные данные эксперимента - числовая таблица размерности 50х10, заполненная искусственно сгенерированными числами с выраженным разделением на 5 кластеров. Размах генерируемых значений от 0 до 1000 (см. таблицу 1.1.1 приложения 1.1).

Таблица 1.1.1 сгенерирована с помощью авторской программы «Генератор входных данных для кластеризации». Программа реализована на языке С#. В основе генератора псевдослучайных чисел в С# лежит алгоритм, предложенный Д.Г. Лемером. В качестве входных параметров используются N - общее число кластеризуемых объектов; Р - число параметров, которыми характеризуются кластеризуемые объекты; МахУаЫе - максимальное значение генерируемой величины; МтУа1ие - минимальное значение генерируемой величины; К - количество кластеров, по которым будут распределены генерируемые объекты кластеризации. При помощи алгоритма Лемера генерируется множество точек - центров кластеров С = [Скр]; 1 < к<К;1<р<Р. Затем генерируются N объектов кластеризации следующем

образом: случайно выбирается кластер, его номер к (1 < к < К), затем ищется минимальное расстояние между центром кластера Ck и всеми остальными кластерами.

MinDistCk = min \\Ck-Ci\\; RCk = MinDistCk/3 ;

i=1..K; i!=k

После закладывается максимально допустимый радиус RCk кластера Ск, генерируется объект кластеризации Хп, такой что Хп Е Ck или, другими

словами,

\Ck-Xn\

< ЯСк. Алгоритм выполняется для всех п: 1 < п < N.

Результаты алгоритма генерации при Р = 10; N = 50; МтУа1ие = 0 ; МахУа1ие = 1000; К = 5 представлены в таблице 1.1.1.

Для эксперимента по восстановлению пропусков числовых таблиц для сервиса балансировки АО «Авиастар-СП»: в таблице 1.1.1 представлены исходные данные, без пропусков; в таблице 1.1.2 представлены исходные данные с пропусками - 20 % от общего количества ячеек; в таблице 1.1.3 представлены данные с восстановленными пропущенными значениями.

Таблица 1.1.1. Исходные данные без пропусков

Р0 Р1 Р2 Р3 Р4 Р5 Р6 Р7 Р8 Р9

N0 604.12 98.14 43.76 984.01 123.06 808.62 853.33 386.18 436.63 10.04

N1 856.23 469.74 169.22 660.48 171.70 273.34 513.02 493.10 881.35 279.38

N2 341.28 765.86 131.71 186.8 118.36 513.43 531.21 509.64 737.43 862.57

N3 952.78 882.67 343.83 347.61 120.21 443.25 462.41 17.38 668.54 898.64

N4 681.14 966.17 465.28 292.78 52.50 221.3 489.32 50.52 753.34 812.81

N5 378.36 663.55 173.67 321.7 311.75 283.93 455.97 632.30 527.54 863.45

N6 716.79 144.73 161.25 989.42 83.45 1000.00 846.34 443.04 314.99 20.03

N7 805.60 966.97 450.88 371.12 0.00 373.57 344.72 97.03 795.23 769.08

N8 236.96 846.24 222.06 282.37 52.61 242.98 428.34 613.08 670.95 887.18

N9 825.35 812.29 508.13 151.91 143.02 606.17 514.56 17.96 812.51 909.39

N10 34.02 620.39 940.96 10.23 1000.00 451.21 298.43 801.50 442.68 677.40

N11 888.04 954.14 388.14 160.36 128.38 329.63 452.48 54.72 525.62 856.77

N12 224.82 455.71 753.30 0.00 778.33 689.41 223.26 755.05 379.8 827.04

N13 146.52 742.34 235.44 313.87 232.47 502.51 443.92 512.66 620.88 902.15

N14 312.68 502.61 139.42 352.94 202.52 206.67 570.82 560.26 767.72 868.93

N15 825.19 211.43 96.52 1000.00 236.95 724.01 904.46 392.18 251.53 136.2

N16 888.94 468.29 262.00 743.44 51.48 0.00 653.00 448.74 791.02 458.51

N17 293.65 701.56 242.31 398.26 117.46 313.02 475.38 552.15 597.39 859.45

N18 631.54 830.05 499.24 96.58 103.83 243.72 500.40 10.88 859.37 856.83

N19 814.08 1000.00 357.57 174.91 63.28 460.06 359.76 27.70 726.65 836.14

N20 928.89 641.71 188.85 884.86 162.90 145.58 757.64 401.08 834.50 309.76

N21 814.52 177.16 115.40 915.24 164.20 646.59 818.19 537.25 494.24 165.64

N22 165.31 545.89 986.12 209.00 910.49 587.36 239.84 593.12 640.57 775.69

N23 747.75 0.00 0.00 917.31 145.84 829.60 772.99 482.02 274.75 110.74

N24 867.06 190.02 94.85 998.17 162.11 825.74 948.50 430.12 462.38 178.42

N25 116.09 430.78 962.73 327.49 813.80 760.45 0.00 628.32 660.69 618.36

N26 955.80 491.92 174.48 689.08 117.64 119.09 573.45 603.30 841.07 385.47

N27 850.99 931.09 331.10 122.87 91.26 261.63 593.16 21.84 768.93 812.55

N28 252.8 587.29 875.65 142.82 753.76 514.49 325.14 604.12 122.17 610.86

N29 514.56 732.00 227.12 258.93 259.51 101.90 532.75 532.93 801.78 907.28

N30 342.05 651.27 205.60 504.93 224.59 115.52 583.04 486.22 703.06 785.68

N31 239.80 635.91 182.14 356.48 68.99 288.25 582.14 511.38 513.87 824.12

N32 570.77 205.04 234.22 881.79 211.96 615.40 790.60 559.35 231.80 136.95

N33 334.61 698.55 148.33 399.34 195.94 327.86 628.46 590.11 564.27 1000.00

N34 176.32 351.47 800.37 21.60 769.92 573.86 154.73 913.70 539.71 797.20

N35 864.19 487.11 222.72 786.11 90.69 71.01 679.29 324.42 960.26 455.47

N36 768.47 874.91 547.28 205.68 113.08 494.16 437.13 0.00 817.98 821.18

N37 194.3 642.63 180.43 290.92 303.30 247.01 424.11 589.53 618.11 857.44

N38 652.79 40.42 26.44 891.69 40.76 883.82 762.98 460.07 459.60 150.63

N49 439.09 659.62 110.79 341.42 255.48 368.59 481.75 594.12 579.57 791.90

Таблица 1.1.2. Исходные данные с пропусками - 20 % от общего количества ячеек

Р0 Р1 Р2 Р3 Р4 Р5 Р6 Р7 Р8 Р9

N0 NN 98.14 NN 984.01 NN 808.62 853.33 386.18 436.63 NN

N1 856.23 469.74 NN 660.48 NN 273.34 513.02 493.10 881.35 279.38

N2 341.28 765.86 131.71 NN 118.36 NN 531.21 509.64 737.43 862.57

N3 952.78 882.67 343.83 347.61 120.21 443.25 NN 17.38 668.54 898.64

N4 681.14 966.17 NN 292.78 52.50 NN 489.32 50.52 753.34 812.81

N5 378.36 663.55 173.67 NN 311.75 NN 455.97 632.30 527.54 863.45

N6 716.79 144.73 161.25 989.42 83.45 1000.00 846.34 443.04 314.99 NN

N7 805.60 966.97 450.88 371.12 NN 373.57 344.72 97.03 795.23 769.08

N8 236.96 NN 222.06 282.37 52.61 242.98 428.34 613.08 670.95 887.18

N9 825.35 812.29 NN 151.91 NN 606.17 NN 17.96 812.51 909.39

N10 34.02 620.39 940.96 10.23 1000.00 451.21 298.43 NN 442.68 677.40

N11 888.04 954.14 388.14 160.36 128.38 329.63 NN 54.72 NN 856.77

N12 NN NN 753.30 0.00 778.33 689.41 223.26 755.05 NN 827.04

N13 NN NN 235.44 313.87 NN 502.51 443.92 512.66 620.88 902.15

N14 312.68 502.61 139.42 352.94 202.52 206.67 570.82 560.26 767.72 868.93

N15 825.19 NN 96.52 1000.00 NN 724.01 904.46 392.18 NN NN

N16 888.94 468.29 262.00 743.44 51.48 0.00 653.00 448.74 NN 458.51

N17 293.65 701.56 242.31 NN 117.46 NN NN 552.15 597.39 859.45

N18 631.54 830.05 NN 96.58 NN 243.72 500.40 10.88 859.37 856.83

N19 814.08 1000.00 357.57 174.91 63.28 460.06 359.76 27.70 726.65 836.14

N20 NN NN NN 884.86 162.90 145.58 757.64 401.08 834.50 NN

N21 NN 177.16 115.40 915.24 164.20 646.59 818.19 537.25 NN 165.64

N22 165.31 545.89 986.12 209.00 910.49 587.36 239.84 593.12 640.57 775.69

N23 747.75 0.00 0.00 917.31 NN 829.60 NN 482.02 274.75 110.74

N24 867.06 190.02 94.85 998.17 162.11 825.74 948.50 NN 462.38 178.42

N25 116.09 430.78 962.73 327.49 813.80 760.45 0.00 628.32 660.69 618.36

N26 955.80 491.92 174.48 689.08 NN 119.09 573.45 603.30 NN 385.47

N27 850.99 931.09 331.10 122.87 NN NN 593.16 NN 768.93 812.55

N28 0.00 587.29 875.65 142.82 753.76 514.49 325.14 604.12 122.17 NN

N29 NN 732.00 NN 258.93 259.51 101.90 NN 532.93 NN 907.28

N30 342.05 651.27 205.60 504.93 224.59 115.52 583.04 NN 703.06 785.68

N31 239.80 635.91 182.14 NN 68.99 NN 582.14 511.38 NN 824.12

N32 NN 205.04 234.22 881.79 211.96 615.40 NN NN NN 136.95

N33 334.61 NN NN 399.34 NN 327.86 628.46 NN 564.27 NN

N34 176.32 NN 800.37 NN 769.92 573.86 NN 913.70 539.71 NN

N35 864.19 487.11 222.72 786.11 90.69 71.01 679.29 324.42 960.26 455.47

N36 NN 874.91 547.28 205.68 113.08 494.16 437.13 0.00 817.98 821.18

N37 NN NN 180.43 290.92 303.30 NN 424.11 589.53 618.11 857.44

N38 652.79 40.42 NN 891.69 40.76 883.82 762.98 460.07 459.60 150.63

N49 439.09 NN 110.79 341.42 255.48 368.59 481.75 594.12 NN NN

Таблица 1.1.3. Исходные данные с восстановленными недостающими значениями

Р0 Р1 Р2 Р3 Р4 Р5 Р6 Р7 Р8 Р9

N0 707.51 98.14 164.81 984.01 149.03 808.62 853.33 386.18 436.63 192.42

N1 856.23 469.74 250.12 660.48 159.34 273.34 513.02 493.10 881.35 279.38

N2 341.28 765.86 131.71 171.80 118.36 327.95 531.21 509.64 737.43 862.57

N3 952.78 882.67 343.83 347.61 120.21 443.25 477.68 17.38 668.54 898.64

N4 681.14 966.17 509.86 292.78 52.50 427.34 489.32 50.52 753.34 812.81

N5 378.36 663.55 173.67 172.71 311.75 341.61 455.97 632.30 527.54 863.45

N6 716.79 144.73 161.25 989.42 83.45 1000.00 846.34 443.04 314.99 279.27

N7 805.60 966.97 450.88 371.12 176.13 373.57 344.72 97.03 795.23 769.08

N8 236.96 656.39 222.06 282.37 52.61 242.98 428.34 613.08 670.95 887.18

N9 825.35 812.29 384.61 151.91 173.13 606.17 470.34 17.96 812.51 909.39

N10 34.02 620.39 940.96 10.23 1000.00 451.21 298.43 627.06 442.68 677.40

N11 888.04 954.14 388.14 160.36 128.38 329.63 458.36 54.72 760.97 856.77

N12 112.22 521.35 753.30 0.00 778.33 689.41 223.26 755.05 549.75 827.04

N13 183.51 658.13 235.44 313.87 231.16 502.51 443.92 512.66 620.88 902.15

N14 312.68 502.61 139.42 352.94 202.52 206.67 570.82 560.26 767.72 868.93

N15 825.19 257.54 96.52 1000.00 182.10 724.01 904.46 392.18 421.77 262.20

N16 888.94 468.29 262.00 743.44 51.48 0.00 653.00 448.74 777.50 458.51

N17 293.65 701.56 242.31 341.37 117.46 316.88 503.55 552.15 597.39 859.45

N18 631.54 830.05 372.62 96.58 194.20 243.72 500.40 10.88 859.37 856.83

N19 814.08 1000.00 357.57 174.91 63.28 460.06 359.76 27.70 726.65 836.14

N20 781.79 563.78 250.62 884.86 162.90 145.58 757.64 401.08 834.50 524.68

N21 711.29 177.16 115.40 915.24 164.20 646.59 818.19 537.25 429.89 165.64

N22 165.31 545.89 986.12 209.00 910.49 587.36 239.84 593.12 640.57 775.69

N23 747.75 0.00 0.00 917.31 181.80 829.60 787.22 482.02 274.75 110.74

N24 867.06 190.02 94.85 998.17 162.11 825.74 948.50 446.30 462.38 178.42

N25 116.09 430.78 962.73 327.49 813.80 760.45 0.00 628.32 660.69 618.36

N26 955.80 491.92 174.48 689.08 149.84 119.09 573.45 603.30 775.34 385.47

N27 850.99 931.09 331.10 122.87 175.11 425.17 593.16 125.52 768.93 812.55

N28 0.00 587.29 875.65 142.82 753.76 514.49 325.14 604.12 122.17 681.12

N29 189.78 732.00 301.94 258.93 259.51 101.90 504.11 532.93 648.73 907.28

N30 342.05 651.27 205.60 504.93 224.59 115.52 583.04 625.91 703.06 785.68

N31 239.80 635.91 182.14 172.31 68.99 335.10 582.14 511.38 642.62 824.12

N32 693.68 205.04 234.22 881.79 211.96 615.40 781.25 446.19 456.11 136.95

N33 334.61 653.05 261.85 399.34 215.76 327.86 628.46 641.84 564.27 815.23

N34 176.32 574.11 800.37 173.54 769.92 573.86 158.47 913.70 539.71 661.39

N35 864.19 487.11 222.72 786.11 90.69 71.01 679.29 324.42 960.26 455.47

N36 732.30 874.91 547.28 205.68 113.08 494.16 437.13 0.00 817.98 821.18

N37 177.28 660.37 180.43 290.92 303.30 329.39 424.11 589.53 618.11 857.44

N38 652.79 40.42 187.97 891.69 40.76 883.82 762.98 460.07 459.60 150.63

N49 439.09 655.07 110.79 341.42 255.48 368.59 481.75 594.12 643.34 818.72

Таблица 1.1.4. Восстановленные и исходные значения

N Р Д N Р 81аП Д N Р 81аП Д

N0 Р0 604.1 707.5 -103.4 N20 Р2 188.9 250.6 -61.8 N40 Р3 678.4 632.8 45.6

N0 Р2 43.8 164.8 -121.1 N20 Р9 309.8 524.7 -214.9 N40 Р5 367.7 258.4 109.3

N0 Р4 123.1 149.0 -26.0 N21 Р0 814.5 711.3 103.2 N41 Р9 350.8 480.9 -130.1

N0 Р9 10.0 192.4 -182.4 N21 Р8 494.2 429.9 64.4 N42 Р0 714.6 810.1 -95.5

N1 Р2 169.2 250.1 -80.9 N23 Р4 145.8 181.8 -36.0 N42 Р6 463.6 628.2 -164.7

N1 Р4 171.7 159.3 12.4 N23 Р6 773.0 787.2 -14.2 N43 Р0 858.1 743.0 115.1

N2 Р3 186.8 171.8 272.4 N24 Р7 430.1 446.3 -16.2 N43 Р2 473.6 503.4 -29.8

N2 Р5 513.4 328.0 185.5 N26 Р4 117.6 149.9 -32.2 N44 Р1 535.8 533.9 1.9

N3 Р6 462.4 477.7 -15.3 N26 Р8 841.1 775.3 65.7 N44 Р7 401.8 447.6 -45.8

N4 Р2 465.3 509.9 -44.6 N27 Р4 91.3 175.1 -83.9 N44 Р8 1000.0 783.6 216.4

N4 Р5 221.3 427.3 -360.2 N27 Р5 261.6 425.2 -163.5 N46 Р7 795.6 630.6 369.4

N5 Р3 283.9 172.7 290.0 N27 Р7 21.8 125.5 -103.7 N47 Р0 490.6 712.8 -222.2

N5 Р5 283.9 341.6 -57.7 N28 Р9 610.9 681.1 -70.3 N47 Р5 759.5 743.4 16.1

N6 Р9 20.0 279.3 -259.2 N29 Р0 252.8 189.8 324.8 N47 Р8 386.1 417.9 -31.9

N7 Р4 0.0 176.1 -176.1 N29 Р2 227.1 302.0 -74.8 N48 Р1 120.4 212.6 -92.2

N8 Р1 846.2 656.4 189.9 N29 Р6 532.8 504.1 28.6 N48 Р7 416.2 458.8 -42.6

N9 Р2 508.1 384.6 123.5 N29 Р8 801.8 648.7 153.1 N49 Р1 659.6 655.1 4.6

N9 Р4 143.0 173.1 -30.1 N30 Р7 486.2 625.9 -139.7 N49 Р8 579.6 643.3 -63.8

N9 Р6 514.6 470.3 44.2 N31 Р3 356.5 172.3 184.2 N49 Р9 791.9 818.7 -26.8

N10 Р7 801.5 627.1 174.4 N31 Р5 288.3 335.1 -46.9

N11 Р6 452.5 458.4 -5.9 N32 Р0 570.8 693.7 -122.9 N20 Р0 928.9 781.8 147.1

N11 Р8 525.6 761.0 -235.4 N32 Р3 881.8 697.6 184.2 N20 Р1 641.7 563.8 77.9

N12 Р0 224.8 112.2 112.6 N32 Р5 615.4 662.3 -46.9

N12 Р1 455.7 521.3 -65.6 N32 Р8 231.8 360.6 -128.8 N39 Р1 189.1 243.7 -54.5

N12 Р8 379.8 549.8 -549.8 N33 Р1 698.6 653.1 45.5 N39 Р2 99.3 178.5 -79.2

N13 Р0 146.5 183.5 -37.0 N33 Р2 148.3 261.9 -113.5

N13 Р1 742.3 658.1 84.2 N33 Р4 195.9 215.8 -19.8

N13 Р4 232.5 231.2 1.3 N33 Р7 590.1 641.8 -51.7

N15 Р1 211.4 257.5 -46.1 N33 Р9 1000.0 815.2 184.8

N15 Р4 237.0 182.1 54.9 N34 Р1 351.5 574.1 -222.6

N15 Р8 251.5 421.8 -170.2 N34 Р3 21.6 173.5 -151.9

N15 Р9 136.2 262.2 -262.2 N34 Р6 154.7 158.5 -3.7

N16 Р8 791.0 777.5 13.5 N34 Р9 797.2 661.4 135.8

N17 Р3 398.3 341.4 56.9 N36 Р0 768.5 732.3 36.2

N17 Р5 313.0 316.9 -3.9 N37 Р0 194.3 177.3 265.4

N17 Р6 475.4 503.6 -28.2 N37 Р1 642.6 660.4 -17.7

N18 Р2 499.2 372.6 126.6 N37 Р5 247.0 329.4 -82.4

N18 Р4 103.8 194.2 -90.4 N38 Р2 26.4 188.0 -161.5 КМ8Б=112.75

В серии экспериментов из таблицы произвольным образом вырезались 10 %, 20 %, ..., 80 % данных. Данные восстанавливались: предлагаемым нами алгоритмом восстановления данных, также как среднее арифметическое из заполненных данных по столбцу. Каждый раз вычислялось ЯМБЕ по формуле

ЯМБЕ =

N

л. 2

1

N

Каждый эксперимент, например, с вырезанием 20 %, повторялся 6 раз. По 6 повторам эксперимента вычислялось среднее арифметическое значение оценок. На рисунке 1 приложения 1.1 приведены результаты сравнения оценки ЯМБЕ восстановления данных предлагаемым методом с оценками ЯМБЕ при заполнении пробелов таблицы средними арифметическими значениями по столбцам таблицы.

Анализ точности

300

■ УIIIIIIII

10% 20% 30% 40% 50% 60% 70% 80% 90% % вырезанных данных из массива числовых значений 50x10

Рисунок 1. Сравнение точности восстановления предлагаемым методом с заполнением средним арифметическим (на оси Ох - % восстанавливаемых данных, на оси Оу - ЯМБЕ, первые столбцы - оценки ЯМБЕ при заполнении пробелов таблицы средними арифметическими значениями, вторые столбцы - оценки ЯМБЕ при восстановлении

данных предлагаемым методом)

Получено улучшение ЯМБЕ в среднем в 2 раза по сравнению с заполнением пропусков средними арифметическими значениям.

ПРИЛОЖЕНИЕ 1.2. Результаты кластеризации временных рядов FBC-методом

Таблица 1.2.1. Примеры временных рядов (источник ВР - СГР-2016 [22], 43 ВР, компоненты трендов ВР, полученные 33% Е-^апвЮгт сглаживанием исходных временных рядов, ВР разной длины, временного масштаба и размаха, произведена нормировка ВР

по осям ОХ, ОУ)

Результат одного из этапов FBC-кластеризации - поточечная кластеризация каждого временного ряда на N1 кластеров (здесь N1 =6), каждый ВР представлен статистическими параметрами {дисперсия Х, дисперсия У, среднеарифметическое Х, среднеарифметическое У}, характеризующими кластеры, расположенными в хронологическом порядке, power - число точек ВР, попавших в кластер (этот параметр в дальнейшей работе алгоритма не участвует).

Таблица 1.2.2. Параметрическое представление временных рядов ( ВР основной тенденции «падение», разделенные на кластеры, С№ - номер кластера, ts№ - номер ВР)

<L О рц X е Q >■ р Q CluCe.X CluCe.Y e. <L l рц X е Q >■ Р & Q X d О О CluCe.Y e. <L l C X р сл Q >н р сл Q X d о о CluCe.Y e. <L l C X е w: Q >н р м Q X d О О CluCe.Y e. <D is l C X e w: Q >H p Q X d о о >■ d о lC e. <D is l C Disp.X >■ p s Di X d о Di CluCe.Y

о О о \D О OS СП о <N о о г- (N <N о СП f- о СП OS OS

с/: О 00 00 OS t- OS OS СП СП СП <N 'Г, <N f- О СП 00 СП f-(N OS СП OS СП <N (N ю © f-OS 00 00 <N (N СП f- о о СП г- <N <N OS f- о 00 ю <N

О

сч о OS г- СП \D о \D О (N (N 00 о о 00 СП О 00 o <N О о

'Г, с/: OS ю 00 (N f-<N OS 00 СП ю СП t> СП f- о (N СП СП 00 00 OS <N о СП t- <N <N <N f- 00 'Г, ю 00 (N f- СП 00 ю СП (N <N

О

сч о о ю OS о о СП OS <N OS о О (N \D <N о о \D <N О о СП СП o \D

ю с/: 00 f- сп о (N СП СП r- OS о СП о ю О <N СП о OS СП 00 гсп г- О СП СП OS f-СП 00 гсп о ю О <N СП 00 f- OS f- \D СП (N СП 'Г, г- OS OS ю 00

О

СП о 00 о OS о 00 <N \D \D о 00 f- о ю СП СП o СП (N о OS OS о

V \о 00 00 00 OS <N ^ СП (N . OS OS 00 00 СП 00 f- <N СП OS г- OS (N f-00 СП о СП f- СП OS 00 00 OS 00 OS г- OS (N СП о

О

о _ СП о OS <N СП о о СП (N СП о _ f- о СП СП г- «1 о f- OS о

00 ю с/: f- 00 <N СП СП OS . ю 'Г, 00 СП 00 00 00 OS ^ гсп г- СП 00 t- СП г- OS (N f-00 . f- сн СП ю OS f- <N 00 о о ю c^ OS СП

О

г- о о 00 ^ч OS о СП СП о г- о о г- <N о СП СП o О СП

(N с/: \о О СП СП СП <N \D \D OS (N (N СП t- <N ^ гсп (N f- OS СП СП ю OS 00 f- <N <N OS о ю 'Г, СП СП <N <N f-'Г, OS <N 00

•п о о 00 \D о ^ СП f- О о OS f- <N о OS \D О \D О f- о

и. \о О СП СП СП СП 00 f- о ft- f-СП <N 00 00 СП о СП <N f- о (N СП о OS О f- 00 00 t> СП OS 'Г, <N о f-o <N OS