Разработка метода минимизации объема экспериментальных исследований при проектировании многокомпонентных смесей на основе использования значений Шепли тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Воробьев Александр Викторович
- Специальность ВАК РФ00.00.00
- Количество страниц 142
Оглавление диссертации кандидат наук Воробьев Александр Викторович
Введение
Глава 1. Алгоритмы принятия решений и разработка многокомпонентных смесей: методы и ограничения использования
1.1 Методы снижения количества экспериментов при разработке многокомпонентных смесей
1.2 Алгоритмы принятия решений как инструмент разработки многокомпонентных смесей
1.3 Машинное обучение на малых наборах данных: методы и направления исследований
1.4 Наличие малоинформативных признаков в малых наборах данных, методы отбора и их стабильность
1.5 Выводы по главе
Глава 2. Снижение размерности тренировочного набора данных: влияние на точность моделей и методы ее повышения
2.1 Методы улучшения алгоритмов принятия решений при работе с малым набором данных
2.2 Влияние оптимизации гиперпараметров на повышения точности алгоритмов при сокращении размерности набора данных
2.3 Алгоритмы устойчивые к снижению данных в обучающих наборах
2.4 Фактическое влияние снижения размерности набора данных на точность прогностических моделей и эффективность методов повышения точности
2.5 Выводы по главе
Глава 3. Разработка метода выбора модели алгоритма принятия решений на основе устойчивости предикторов с применением значения Шепли
3.1 Мультиколлинеарность предикторов и значение Шепли
3.2 Значение Шепли в интерпретации моделей
3.3 Работа БИДР с различными алгоритмами
3.4 Стабильность SHAP
3.5 Алгоритм выбора стабильной модели на основе метода Шепли (ЗБЫЗИ)
3.6 Выводы по главе
Глава 4. Оценка работоспособности SSMSh
4.1 Снижение количества экспериментов необходимых для достижения целевой
точности
4.2 Влияние параметров SSMSh на снижение количества образцов
4.3 Оценка необходимого количества дополнительных образцов
4.4 Оценка важности признаков набора данных посредством SSMSh
4.5 Формирование математических моделей
4.6 Использование технологии гиперпоточности в целях повышения скорости
ML-алгоритмов на однопоточном приложении
4.7 Выводы по главе
Заключение
Список литературы
Приложение А. Код алгоритма SSMSh (на языке программирования Python)
Приложение Б. Акт внедрения результатов исследования
Приложение В. Свидетельство о государственной регистрации программы для ЭВМ
Рекомендованный список диссертаций по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Алгоритмы интерпретируемого искусственного интеллекта на основе значений Шепли в задачах высокой размерности2025 год, кандидат наук Цзоу Цзиньин
Объяснимый искусственный интеллект в прогнозировании временных рядов2025 год, кандидат наук Чжан Юйи
Обработка временных последовательностей диагностических предикторов для анализа траекторий лечения2025 год, кандидат наук Лызин Иван Александрович
Метод и алгоритмы анализа данных электроэнцефалографии для верификации субъекта2023 год, кандидат наук Светлаков Михаил Олегович
Применение методов агрегации экспертов и регрессии на основе гауссовских процессов для построения метамоделей2013 год, кандидат наук Приходько, Павел Викторович
Введение диссертации (часть автореферата) на тему «Разработка метода минимизации объема экспериментальных исследований при проектировании многокомпонентных смесей на основе использования значений Шепли»
Введение
Актуальность темы исследования и степень её разработанности.
Проектирование многокомпонентных смесей является определяющей стадией производства материалов с заданными свойствами из разнородных по физико-химическим характеристикам исходных компонентов, приводящей к созданию разнообразных продуктов, таких как лекарственные препараты, бетоны, резиновые смеси, хлебобулочные и прочие изделия в пищевой, фармацевтической, химической, нефтеперерабатывающей, строительной и других отраслях промышленности. Эти продукты играют важную роль в удовлетворении потребностей общества, развитии науки и технологий.
Процесс проектирования представляет собой формулировку целевых свойств продукции, отбор ингредиентов применимых к использованию при изготовлении многокомпонентной смеси, ее изготовление и проведение экспериментальных исследований, с дальнейшим принятием решения о достигаемости результатов процедуры.
Развитие и расширение ассортимента производителей, оптимизация рецептур путем внедрения новых материалов и технологий приводит к усложнению состава, увеличению количества компонентов. В современных многокомпонентных смесях рецепт может содержать десятки сырьевых составляющих и аналогичное количество внешних воздействующих технологических и иных параметров. При этом количество необходимых экспериментов при проектировании смеси растет экспоненциально по мере увеличения количества факторов или их уровней. В результате это ограничивает использования процедуры проектирования для поиска лучшей смеси с рассмотрением всех компонентов.
Одним из наиболее широко известных, среди подходов к минимизации количества экспериментальных исследований, является теория оптимальных экспериментов [1, 2, 24, 25,]. Однако, полиномиальные модели, используемые в данном методе, становятся неустойчивыми при большом количестве ингредиентов,
ввиду того, что изменение одного параметра может быть компенсировано изменением других.
Сократить объем экспериментов можно за счет уменьшения количества ингредиентов смеси, а также за счет снижения нестабильности процедуры проектирования.
Разрешением задачи отбора ингредиентов и определения их доли в структуре многокомпонентной смеси может стать принцип оптимальности распределения выигрыша между игроками в задачах теории кооперативных игр, а именно значение Шепли.
Подход Шепли позволяет рассмотреть пространство всех игр, в которые может играть некоторый потенциально очень большой набор игроков и рассчитать вклад каждого игрока в возможные коалиции. Рассмотрение вклада игрока в совокупности с взвешенной абсолютной процентной ошибкой достижимости результатов проектирования может определить отбор ингредиентов, обеспечивающих повышение устойчивости процедуры проектирования.
Разработка методов, снижающих количество необходимых экспериментов, повысит доступность использования СППР в проектировании многокомпонентных смесей в различных отраслях промышленности.
Эти факторы определяют актуальность темы диссертации и необходимость совершенствования процедуры проектирования многокомпонентных смесей.
Объект исследования - процедура проектирования многокомпонентной смеси.
Предмет исследования - процедура минимизации объёма экспериментальных исследований при достижении необходимой точности и устойчивости результата.
Целью работы является совершенствование процедуры проектирования многокомпонентных смесей на основе использования значений Шепли для минимизации объёма экспериментальных исследований.
Задачи исследования. В соответствии с целью были поставлены следующие задачи:
1. Провести анализ методов минимизации экспериментальных исследований и повышения устойчивости результатов к изменчивости исходных данных при проектировании многокомпонентных смесей.
2. На основе значений Шепли разработать метод отбора ингредиентов смеси, снижающий количество экспериментальных исследований и повышающий устойчивость результатов к изменчивости исходных данных, при достижении заданной точности.
3. Разработать метод определения доли ингредиентов в структуре многокомпонентной смеси на основе экспериментальных данных с использованием значения Шепли.
4. Реализовать прототип программной поддержки предлагаемого алгоритма.
5. Разработать методику экспериментов и провести анализ, подтверждающий работоспособность предлагаемого метода в части отбора ингредиентов и повышения устойчивости процедуры проектирования смесей.
Методология и методы исследования: в качестве методологической и теоретической основы диссертационного исследования использованы методы системного анализа, теория игр, в частности, концепция значений Шепли, методы математической статистики.
Научная новизна.
В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:
- Установлена возможность использования значений Шепли для определения доли компонентов в процессе проектирования многокомпонентной смеси.
- Метод проектирования многокомпонентных смесей с использованием значения Шепли, позволяющий минимизировать объем экспериментальных исследований, включающий в себя процедуру отбора компонентов смеси и принцип ограничения объема экспериментальных исследований по достижению целевой точности.
- Подтверждено повышение устойчивости процедуры проектирования многокомпонентных смесей при использовании значения Шепли.
Теоретическая значимость работы заключается в расширении области применения значений Шепли за счет его использования в основе принципа отбора ингредиентов при проектировании многокомпонентных смесей.
Практическая значимость работы заключается в использовании предложенных методов, позволяющих проектировать многокомпонентные смеси с минимизацией экспериментальных исследований (свидетельство о гос. регистрации программы для ЭВМ № 2024685139 от 24.10.2024 г.).
Результаты диссертационного исследования приняты к использованию в АО Завод Новых Полимеров «СЕНЕЖ» (Акт внедрения результатов диссертационного исследования от 25.10.2023 г.).
Положения, выносимые на защиту:
- использование значения Шепли при проектировании многокомпонентных смесей позволяет снижать количество экспериментальных исследований, как за счет отбора ингредиентов, так и за счет достижения целевых показателей точности при меньшем количестве тестов;
- внедрение значения Шепли повышает устойчивость процедуры проектирования смесей;
- проведенные экспериментальные исследования подтвердили целесообразность использования значения Шепли при проектировании многокомпонентных смесей для отбора ингредиентов и повышения устойчивости процедуры.
Соответствие диссертации паспорту научной специальности.
Исследование, проводимое в рамках диссертационной работы, соответствует следующим пунктам паспорта научной специальности ВАК РФ 2.3.1. Системный анализ, управление и обработка информации, статистика: Пункт 4 «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений, обработки информации и искусственного интеллекта»; Пункт 11 «Методы и алгоритмы прогнозирования и оценки эффективности, качества, надежности функционирования сложных систем управления и их элементов».
Степень достоверности результатов работы. Достоверность результатов диссертации подтверждается анализом сходимости прогностических значений практической реализации алгоритма выбора стабильной модели, проведенными в ходе исследования вычислительными экспериментами на синтезированных наборах, публикацией основных результатов диссертации в ведущих рецензируемых журналах, а также успешным внедрением разработанного алгоритма. Результаты диссертационной работы не противоречат известным результатам других авторов темы исследования, а согласуются с ними.
Апробация работы. Результаты исследования доложены и обсуждены на конференциях: IV Всероссийская научно-техническая конференция «Интеллектуальные информационные системы: теория и практика», г. Курск, 2123 ноября 2023 г., темы докладов; «Усовершенствованные методы интерпретации моделей машинного обучения», «Использование значения Шепли при отборе признаков прогностических моделей».
Публикации. По теме диссертации опубликовано 8 научных работ, из них: 4 статьи в изданиях, рекомендуемых ВАК РФ; 3 статьи опубликованы в других изданиях и материалах конференций; 1 свидетельство о гос. регистрации программы для ЭВМ.
Личный вклад соискателя. Все изложенные в диссертационной работе результаты исследований получены соискателем лично, либо при его непосредственном участии.
Структура и объем диссертации. Работа состоит из введения, четырех глав, заключения, списка литературы из 140 источников и трех приложений. Диссертация изложена на 142 страницах машинописного текста, включающего 14 таблиц и 39 рисунков.
Работа была выполнена на кафедре программного обеспечения и администрирования информационных систем Курского государственного университета.
Глава 1. Алгоритмы принятия решений и разработка многокомпонентных смесей: методы и ограничения использования
1.1 Методы снижения количества экспериментов при разработке
многокомпонентных смесей
Задача проектирования многокомпонентных смесей является актуальной для многих отраслей промышленности. Процесс проектирования представляет собой формулировку целевых свойств продукции, отбор ингредиентов применимых к использованию при изготовлении многокомпонентной смеси, ее изготовление и проведение экспериментальных исследований, с дальнейшим принятием решения о достигаемости результатов процедуры.
Общий алгоритм проектирования многокомпонентных смесей включает следующие этапы:
1. Выбор критерия оптимальности, определение области факторного пространства и ограничений на целевую функцию.
2. Планирование и проведение экспериментов для получения математических моделей, аппроксимирующих поверхности отклика в заданном факторном пространстве.
3. Выбор метода оптимизации для нахождения экстремальных значений целевой функции.
4. Реализация выбранного метода оптимизации с использованием результатов численных экспериментов и определение значений факторов (состава смеси), соответствующих оптимальным значениям целевой функции.
5. Экспериментальная проверка физико-механических свойств найденного состава.
Экспериментальные данные являются «фундаментом» разработки смесей, поскольку преимущественно на них основано принятие проектных решений и оценка их качества в различных отраслях промышленности.
Один из главных вызовов в проектировании многокомпонентных смесей -это необходимость проведения большого объема экспериментальных исследований для нахождения оптимальных свойств смеси. Снижение объема экспериментов может значительно ускорить процесс разработки и снизить затраты.
Среди методов, способствующих повышению эффективности исследований, за счет оптимизации усилий исследователя, уменьшения времени и ресурсов, затрачиваемых на эксперимент, а также увеличения точности результатов, широкое распространение прибрел метод планирования экспериментов (DOE, Design of Experiments).
Планирование эксперимента — комплекс мероприятий, направленных на разработку стратегии исследования: от сбора предварительной информации до создания работающей математической модели или определения оптимальных условий, выбор плана эксперимента, удовлетворяющего заданным требованиям. Это целенаправленное управление экспериментом в условиях неполного понимания механизма изучаемого явления.
Планирование эксперимента заключается в процедуре выбора количества и условий проведения опытов, необходимых и достаточных для решения стоящих задач с требуемой точностью [25].
При планировании эксперимента могут решаться следующие задачи:
1. Поиск оптимальных условий. Задача оптимизации возникает, в случае возможности осуществления процесса и необходимости определения оптимальных условий его реализации [1].
2. Поиск интерполяционных формул. Задача интерполяции возникает при необходимости установить количественную связь между значениями выходного и входных параметров [2].
3. Определение существенных факторов воздействия на выходной параметр
[25].
Научных методов планирования эксперимента не было до начала XX века. В 1921 - 1925 гг. Рональд Фишер, в своих работах «Математические основы статистики» и «Статистические методы исследований» предложил новый подход,
заключающийся во всестороннем изменении всех факторов одновременно, в отличие от традиционного, широко распространенного, однофакторного эксперимента. В начале 1950-х годов Дж. Бокс и его команда значительно усовершенствовали и дополнили концепции и методы, разработанные Р. Фишером. В ряде работ были представлены варианты планирования экспериментов в зависимости от числа и характера факторов, задач моделирования, условий проведения эксперимента, степени изученности процесса и т.д. Таким образом, была заложена основа методики планирования и анализа результатов экспериментов с применением методов математической статистики, матричной алгебры, численного анализа и других разделов математики [4, 24].
Вместе с тем развитие промышленности, требований к продукции определили усложнение многокомпонентных смесей. Увеличение количества сырьевых составляющих и варьируемости их характеристик, внешних воздействующих технологических и иных параметров приводит к экспоненциальному росту количества необходимых экспериментов при проектировании смеси. Данная тенденция определила актуальность задачи снижения количества экспериментов. Метод Бокса-Уилсона, учитывающий влияние всех факторов на величину выходного параметра, позволяет найти зону оптимума за максимально малое количество опытов [6].
Метод состоит из следующих основных этапов [25]:
- Факторный эксперимент.
С помощью специально спланированных пробных опытов проводят изучение характера поверхности отклика в районе первоначально выбранной точки факторного пространства. Реализацию экспериментов около базовой точки осуществляют методом полного факторного (ПФЭ) или дробного факторного эксперимента (ДФЭ). Полный факторный эксперимент включает все возможные комбинации уровней факторов. При к факторах с п уровнями ПФЭ требует п экспериментов.
- Аппроксимация модели.
На основе полученных на первом этапе данных реализуется математическое описание поверхности отклика. Для описания используются полиномиальная модель. Широкое распространение имеют модели низкого порядка, чаще всего квадратичная модель, для аппроксимации отклика (1.1).
где у - отклик, X; - независимые переменные, ^ - коэффициенты модели, е - случайная ошибка
- Последовательный эксперимент.
Процесс оптимизации осуществляется итеративно. Начинают с центральной точки и используют градиентный спуск для перемещения в направлении наибольшего отклика. На каждом шаге проводят дополнительные эксперименты и уточняют модель.
Метод Бокса-Уилсона является мощным инструментом для оптимизации процесса проектирования многокомпонентных смесей и широко используется в промышленности, однако, полиномиальные модели, используемые в данном методе, становятся неустойчивыми при большом количестве ингредиентов, ввиду того, что изменение одного параметра может быть компенсировано изменением других.
Неустойчивость полиномиальных при росте количества факторов может быть продемонстрирована в следующем эксперименте (Рисунок 1):
- Генерация данных: синтетические данные создаются с использованием случайных значений для входных переменных и вычисления целевых значений на основе тригонометрических функций, что добавляет нелинейность, к ним также добавляется гауссовский шум. Три набора данных с двумя, пятью и семью факторами.
- Создания полиномиальной модели: построение математической модели линейной регрессии по каждому набору данных
(1.1)
- Вычисляется средняя «статическая ошибка». Под ошибкой в данном эксперименте понимается абсолютное значение разницы между предсказанием модели и истинным значением. Статическая в данном случае - ошибка, рассчитанная без изменения набора данных.
- «Анализ чувствительности»: производится изменение значения одной переменной, обновляется тестовый набор данных, производится построение прогноза на модели линейной регрессии, рассчитываются отклонения от истинных значений.
Анализ чувствительности (2 переменные) Анализ чувствительности (5 переменных) Анализ чувствительности (7 переменных)
0.0 0.2 0 4 0.6 03 10 0.0 02 04 0.6 03 10 0.0 02 0 4 06 03 10
Значение переменной Значение переменной Значение переменной
Рисунок 1 - Динамика ошибки прогноза при изменении значений одного фактора в полиномных моделях с разными степенями [8]
В результате видно, что для моделей с двумя переменными изменение значений одной из них не ведет к росту ошибки прогноза. Для моделей с пятью факторами существует диапазон значения переменной, при котором ошибка при изменении значений одного фактора становится выше средней статической ошибки. Для моделей с семью переменными изменение одного фактора становится причиной значительного роста ошибки на всем диапазоне значений переменной. Максимальная ошибка, полученная при изменении одной переменной в модели полинома седьмой степени в четыре раза выше чем в модели с двумя переменными.
Визуализация поверхности отклика помогает понять, как целевая переменная зависит от значений ингредиентов. При увеличении степени полинома поверхность может становиться слишком сложной и неинтерпретируемой, особенно если данные шумные. Для полиномиальных моделей высокого порядка такие взаимодействия могут становиться неустойчивыми (Рисунок 2).
Степень многочлена 2 Степень многочлена 5 Степень многочлена 7
Рисунок 2 - Изменение поверхности отклика при росте степени полиномиальной модели [13] Полиномиальные модели могут стать неустойчивыми при большом количестве ингредиентов из-за мультиколлинеарности, чувствительности к изменениям данных, сложности поверхности отклика и систематических отклонений остатков. Таким образом их применение в методах снижения количества экспериментов при проектировании многокомпонентных смесей ограничено.
1.2 Алгоритмы принятия решений как инструмент разработки
многокомпонентных смесей
В начале 2020-х годов методы машинного обучения, такие как искусственные нейронные сети и деревья решений, стали широко использоваться для проектирования и оптимизации многокомпонентных смесей, поскольку машинное обучение превосходит линейные и квадратичные модели с точки зрения прогнозирования свойств смесей [15, 27, 52,129].
Так, Д. Лапейр продемонстрировал, что алгоритм случайного леса (Random Forest) позволяет оперативно прогнозировать кинетику гидратации многокомпонентных цементирующих систем и может быть использовано в качестве устойчивого метода быстрой оптимизации состава смеси [88]. Янг Ф. и Ли Ч. отмечали, что модель машинного обучения (ансамблевые алгоритмы), встроенная в кластерную формулу, может сделать прогнозирование и оптимизацию состава многокомпонентных сплавов ß-Ti с низким модулем Юнга, более точными, эффективными и контролируемыми [137]. Рыльцев Р.Е. и Щелкачев Н.М. показали, что использование потенциалов машинного обучения на основе глубоких нейронных сетей (DP) является гораздо более эффективным по сравнению с моделями семейства EAM (методами погруженного атома) как с точки зрения соотношения точности и производительности, так и в контексте возможности моделирования широкого спектра свойств и термодинамических состояний многокомпонентных металлических сплавов [26]. Ли Т. с коллегами продемонстрировал, что применение ансамблевых моделей машинного обучения позволяет с высокой точностью проектировать новые гибридные органо-неорганические перовскиты с заданными свойствами несмотря на значительное количество факторов [93].
Более высокие показатели точности алгоритмов машинного обучения относительно полиноминальных моделей факторного плана могут быть продемонстрированы в ходе анализа набора данных «Прочность бетона на сжатие». Набор экспериментальных данных был сформирован И-Ченгом Йехом при подготовке работы «Моделирование прочности высокоэффективного бетона с использованием искусственных нейронных сетей» и содержит 1030 наблюдений с 8 количественными входными переменными (компоненты смеси: цемент, зола, шлак, вода и пр.) и одной количественной выходной переменной - прочность бетона на сжатие [138]. В работе Йехона была определена высокая эффективность нейронных сетей для прогнозирования прочности бетона на сжатие, однако на данном наборе можно показать результаты и других алгоритмов машинного обучения.
В качестве примера могут быть использованы алгоритмы ансамблей решающих деревьев, в том числе использующие фреймворк градиентного бустинга [16]. Такие как алгоритм «случайного леса» (RandomForestRegressor) и eXtreme Gradient Boosting (XGBoost). При «обучении» моделей на перечисленных алгоритмах с метриками качества в виде MSE (среднеквадротичной ошибки) (1.2) и R2 (коэффициента детерминации) (1.3) можно наблюдать следующие результаты (Рисунок 3).
Рисунок 3 - Спрогнозированные значения и метрики моделей набора данных «Прочность бетона на сжатие».
MSE вычисляется как среднее значение квадратов ошибок (разностей между предсказанными и фактическими значениями) (1.2). Поскольку ошибки возводятся в квадрат, MSE больше наказывает за большие ошибки, что полезно, когда важно минимизировать крупные ошибки.
п
1
MSE = ^(п - Р,):
¿=1
(1.2)
где:
п — количество наблюдений,
У^ — истинное значение,
У1 — предсказанное значение
Результаты свидетельствуют о значительном опережении МБЕ у полиноминальной модели, относительно алгоритмов машинного обучения. Так, у модели КапёошРогев1 МБЕ на 45% ниже относительно полиноминальных моделей, у ХОВооб! на 64%.
Коэффициент детерминации (1.3) показывает долю дисперсии зависимой переменной, которая объясняется моделью. Он варьируется от 0 до 1 (или может быть отрицательным, если модель хуже средней), где 1 означает, что модель идеально объясняет все вариации в данных.
Сравнение моделей: R2 позволяет сравнивать, насколько хорошо разные модели объясняют вариации в данных. Более высокое значение R2 указывает на лучшую модель.
Я2 = 1 — = 1-^ (1.3)
0[у1х]_ а2 — 1 — — О [у] ау
где И [у] — Оу - дисперсия случайной величины у, а £[у|х] — о2 - условная (по факторам х) дисперсия зависимой переменной (дисперсия ошибки модели).
Коэффициент детерминации у модели КапёошРогеБ1 МББ на13% выше относительно полиноминальных моделей, у ХОВооб1 на 18%. Показатели ХОВооб1 косвенно свидетельствуют о высокой степени объяснения всех вариаций в данных.
На примере реальной экспериментальной базы многокомпонентной смеси было показано, что алгоритмы машинного обучения, такие как деревья решений и ансамблевые алгоритмы превосходят полиноминальные модели в показателях точности прогнозирования целевого свойства смеси.
То есть машинное обучение (МЬ), формально определенное как поиск а: X ^ У - решающей функции приближающий у на всем множестве X, при X -множестве объектов, по которым должно быть получено множество ответов У, с предположением существования зависимости у: X ^ У, обучающей выборкой
(х1_хп}бХ, и ответами {у1...уп} с условием, что у^ = у(х£), становится эффективным инструментом проектирования многокомпонентных смесей.
Неотъемлемые этапы машинного обучения: при сформированных тренировочных данных в виде матрицы Э, метод обучения д: (Х X У)^ — А по выборке Х У^ = (х;,у;), ¿6 [1... строит алгоритм а = д(ХУ^) (1.4), определяя для новых объектов X' = (х'1... х^} ответы у\ = а(х'^ ) (1.5):
д = иж^и™ = (/1(хк). /м(хк)) - СуЛ; -а, (14
(/1 (х'к)... /м(х'к);
где F = (Д - пространство признаков, в котором анализируются объекты
X = (х1 ... хк}, таком, что /¿(х;), ¿6 [1... [1 ... - значение ¿-го признакау'-го объекта.
В случае проектирования многокомпонентных смесей матрицей тренировочных данных Э будут являться результаты экспериментов с факторами (входными воздействиями) /1(х1) .../^(х^) и соответствующими показателями отклика у1 ...ук.
При отсутствии выраженной зависимости у: X — У сокращение размера матрицы Э снижает уровень обобщения моделей машинного обучения, определяющий их точность и устойчивость, то есть выявляется проблема малого размера данных. Таким образом, как и в случае с методом Бокса-Уилсона и схожими методами, алгоритмы машинного обучения требуют значительного количества экспериментов.
Методы повышения робастности и точности алгоритмов машинного обучения для тренировочных наборов с небольшим количеством наблюдений (экспериментов) будут способствовать их использованию при разработке многокомпонентных смесей в качестве эффективных инструментов проектирования и прогнозирования свойств новых материалов.
1.3 Машинное обучение на малых наборах данных: методы и направления
исследований
Дефицит данных в обучающих наборах является распространенной проблемой в машинном обучении, особенно когда речь идет о задачах прогнозирования свойств многокомпонентных смесей. Ключевыми факторами дефицита данных выступают отраслевая специфика (малоизученные области, материаловедение, инженерия и т.д.), а также доступ к объемным данным (возможность сбора и хранения результатов экспериментов и наблюдений) [23, 38, 83, 123, 124, 128, 139].
Похожие диссертационные работы по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Метод идентификации параметров модели и классификация изображений дендритных структур2017 год, кандидат наук Парингер Рустам Александрович
Разработка алгоритмов, численных методов и программной среды для управления качеством рецептурных смесей на основе методов математического программирования2006 год, кандидат технических наук Головин, Игорь Михайлович
Адаптивное управление процессом приготовления смесей на примере шинного производства2003 год, кандидат технических наук Камакин, Александр Николаевич
Исследование и разработка методов автоматического вывода геометрических ограничений с использованием декларативного программирования и формальных методов2017 год, кандидат наук Быков Сергей Анатольевич
Алгоритмы и программные средства автоматического текстонезависимого распознавания личностей по голосу2015 год, кандидат наук Шулипа Андрей Константинович
Список литературы диссертационного исследования кандидат наук Воробьев Александр Викторович, 2025 год
Список литературы
1. Адлер Ю. П. Планирование эксперимента при поиске оптимальных условий [Текст] / Ю. П. Адлер, Е. В. Маркова, Ю. В. Грановский. - М.: Наука, 1976
2. Бабин А. В. Организация и математическое планирование эксперимента [Текст] / А. В. Бабин, Д. Ф. Ракипов. - Екатеринбург, 2014. 114 с.
3. Белайчук А.А. Операционный менеджмент: учебник / А.А. Белайчук, С.А. Братченко, М.Ф. Гумеров и др.; под ред. А.В. Трачука // Москва: КНОРУС. — 2017.
4. Богданова Е.Л. Оптимизация в проектном менеджменте: нелинейное программирование: учебное пособие / Е.Л. Богданова, К.А. Соловейчик, К.Г. Аркина. - СПб.: Университет ИТМО, 2017. - 190 с.
5. Богунов С.Ю. Моделирование и разработка технологии творожного продукта. Дис. ... канд. тех. наук: 05.18.04 / Богунов Сергей Юрьевич - Воронеж., 2016. -129 с.
6. Бондаренко Ф. В., Дубровский Н. В., Малков Н. В., Виноходов Д. О. Оптимизация питательной среды для биосинтеза копропорфирина III // Известия СПбГТИ (ТУ). 2018. №47 (73).
7. Воробьев А.В. Анализ влияния гиперпараметров алгоритма SSMSh на снижение количества необходимых эксперементов: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_Vliyan_hyper_na_kolvo (дата обращения: 13.08.2023)
8. Воробьев А.В. Анализ чувствительности и статической ошибки полиномиальных регрессионных моделей на синтетических данных: [электронный ресурс]. URL: https://github. com/Alexander-Vorobyov/SSMSh_Analys_chuv_polynom (дата обращения: 07.10.2022)
9. Воробьев А.В. Влияние алгоритма SSMSh на снижение необходимых экспериментов при обработке набора данных ««Имитация некоторых свойств полистирола»: [электронный ресурс]. URL: https://github.com/Alexander-
Vorobyov/SSMSh_Imitatsia_nekotorykh_svoystv_polistorola (дата обращения: 02.02.2023)
10. Воробьев А.В. Влияние алгоритма SSMSh на снижение необходимых экспериментов при обработке набора данных «Данные ПФЭ выхода творожного продукта»: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_dannie_pfe_vihoda_tvorozh_producta (дата обращения: 10.12.2022)
11. Воробьев А.В. Влияние алгоритма SSMSh на снижение необходимых экспериментов при обработке набора данных «Многокомпонентные сплавы на основе железа и хрома»: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_Mnogokomp_splavy (дата обращения: 04.02.2023)
12. Воробьев А.В. Влияние алгоритма SSMSh на снижение необходимых экспериментов при обработке набора данных «Прочность бетона на сжатие»: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_Prochnost_na_szhatie (дата обращения: 17.04.2023)
13. Воробьев А.В. Изменение поверхности отклика с увеличением степени полинома модели: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_Izmenen_poverh_otklik (дата обращения: 10.09.2022)
14. Воробьев А.В. Использование технологии гиперпоточности в целях повышения скорости обработки ML-алгоритмов / А.В. Воробьев, Д.И. Распопин // Экономика. Информатика. — 2021. - №48(4). — С. 764-770. — DOI: 10.52575/2687-0932-2021-48-4-764-770
15. Воробьев А.В. История философии нейронных сетей как ядра искусственного интеллекта. /А.В.Воробьев, В.А. Кудинов // Проблемы онто-гносеологического обоснования математических и естественных наук. —2021. — №12. —С. 17-27. — ISSN: 2074-5052
16. Воробьев А.В. Метод выбора модели машинного обучения на основе устойчивости предикторов с применением значения Шепли. / А.В.Воробьев // Экономика. Информатика. —2021. — №48(2). — С. 350-359. —DOI: 10.52575/26870932-2021-48-2-350-359
17. Воробьев А.В. Методы повышения точности алгоритмов машинного обучения при сокращении размерности набора данных / А.В.Воробьев // International Journal of Open Information Technologies. — 2021. — №10. —С.29-33. — ISSN: 2307-8162
18. Воробьев А.В. Определение состава смеси дисперсно-наполненных композитов посредством SSMSh: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_otsenka_sostava (дата обращения: 20.07.2024)
19. Воробьев А.В. Оценка устойчивости SSMSh к изменению входных данных: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_robustness (дата обращения: 18.07.2024)
20. Воробьев А.В. Сравнение адекватности интерпретации моделей алгоритмов принятия решением методом SSMSh и SHAP на синтезированном наборе данных с заложенной важностью признаков: [электронный ресурс]. URL: https://github.com/Alexander-Vorobyov/SSMSh_Sravnenie_vazhn (дата обращения: 15.09.2023)
21. Воробьев А.В. Тестирование блока алгоритма SSMh «Расчет необходимого количества дополнительных экспериментов»: [электронный ресурс]. URL: https: //github. com/Alexander-Vorobyov/SSMSh_raschet_neobh_kolva_obr (дата обращения: 04.07.2024)
22. Воробьев А.В., Кудинов В.А. Определение важности прогноза при управлении производственным предприятием c помощью машинного обучения / А.В.Воробьев, В.А. Кудинов // Искусственный интеллект и принятие решений. — 2021. —№4. — С. 27-34. —DOI 10.14357/20718594210403
23. Воронина В. В. Теория и практика машинного обучения: учебное пособие / В. В. Воронина, А. В. Михеев, Н. Г. Ярушкина, К. В. Святов. - Ульяновск : УлГТУ, 2017.
24. Воронина О. А. Математические основы планирования и проведения эксперимента [Текст]: учебное пособие / О. А. Воронина. - Орел: ОрелГТУ - 2007.
25. Липин В. А. Методы оптимизации: учебное пособие / В. А. Липин. — СПб.: ВШТЭ СПбГУПТД, 2022. — 47 с.
26. Хазиева Е. О., Щелкачев Н. М., Типеев А. О., Рыльцев Р. Е. Точность, производительность и переносимость межчастичных потенциалов для сплавов Al-Cu: сравнение моделей погруженного атома и глубокого машинного обучения. ЖЭТФ, 2023, том 164, вып. 6 (12), стр. 980-995. DOI: 10.31857/S004445102312012X
27. Хашпер Б.Л. Применение методов случайного поиска и методов машинного обучения к задаче оптимизации в многомерном пространстве / Б.Л. Хашпер, О.Г. Кантор // Информационные и математические технологии в науке и управлении. - 2023. - № 3(31). - С. 15-26. -D0I:10.25729/ESI.2023.31.3.002
28. Aas K. Explaining individual predictions when features are dependent: More accurate approximations to Shapley values / K. Aas, M. Jullum, A. L0land // Norwegian Computing Center. — 2019. — 22 p. —D0I:10.1016/j.artint.2021.103502
29. Abu Zohair L. M. Prediction of Student's performance by modelling small dataset size / L. M. Abu Zohair // International Journal of Educational Technology in Higher Education. — 2019. — № 16(1). — P. 27. —DOI: 10.1186/s41239-019-0160-3
30. Agarwa Ch. Rethinking stability for attribution-based explanations / Ch. Agarwa [et al.] — Текст: электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/2206.11104v1.pdf (дата обращения: 06.07.2022).
31. Agarwal Ch. OpenXAI: Towards a Transparent Evaluation of Post hoc Model Explanationss / Ch. Agarwal [et al.] —Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/2206.11104v1.pdf (дата обращения: 25.07.2022).
32. Alvarsson J. Large-scale ligand-based predictive modelling using support vector machines /J. Alvarsson [et al.] // Journal of Cheminformatics. — 2016. — №2 8(1). — P. 39. —DOI: 10.1186/s13321-016-0151-5
33. Ancona M., Oztireli C., Gross M. Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation. The 36 th International Conference on Machine Learning, California. 2019. arXiv:1903.10992v4 [cs.LG] 21 Jun 2019
34. Ancona M., Öztireli C., Gross M. Shapley Value as Principled Metric for Structured Network Pruning. arXiv:2006.01795v1 [cs.LG] 2 Jun 2020
35. Antoniou A. Data Augmentation Generative Adversarial Networks / Antoniou A. - Текст: электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1711.04340.pdf (дата обращения: 15.12.2021).
36. Arora N. Global Seismic Monitoring: A Bayesian Approach / N. Arora, S.Russell, P. Kidwell, E. Sudderth //Proceedings of the AAAI Conference on Artificial Intelligence 25 (San Francisco, USA, August 7-11, 2011)
37. Athanasopoulou L. Context awareness system in the use phase of a smart mobility platform: A vision system for a light-weight approach / L. Athanasopoulou, A. Papacharalampopoulos, P. Stavropoulos // Procedia CIRP. — 2020. — № 97(1). — P. 560-564. — DOI: 10.1016/j.procir.2020.05.097.
38. Babic M. Using of genetic programming in engineering / M. Babic // Elektrotehniski Vestnik/Electrotechnical Review. — 2014. — № 81(3). — P. 143-147.
39. Bergstra J. Algorithms for Hyper-Parameter Optimization / J. Bergstra, R. Bardenet, B. Kegl, Y. Bengio —Текст: электронный // https://www.researchgate.net/: [сайт] .URL: https: //www.researchgate. net/publication/216816964_Algorithms_for_Hyp er-Parameter_Optimization (дата обращения: 18.12.2022).
40. Botvinick M. Reinforcement Learning, Fast and Slow / Botvinick M. // Trends in Cognitive Sciences. — 2019. — № 5. — P. 408-422. — D0I:10.1016/j.tics.2019.02.006
41. Bouchlaghem Y.Feature Selection: A Review and Comparative Study./ Y. Bouchlaghem, A.Yassine, A.Souad // E3S Web Conf. Volume 351. — 2022. — D0I:10.1051/e3sconf/202235101046
42. Breiman L. Random Forests / Breiman L. // Machine Learning. — 2001. — № 45(1). — С. 5-32. — DOI: 10.1023/A:1010933404324
43. Buhlmann P. Boosting Algorithms: Regularization, Prediction and Model Fitting / Buhlmann P., Hothorn T. // Statistical Science. — 2007. — № 4. — С. 1-26.— DOI: 10.1214/07-STS242
44. Cao J. An accurate traffic classification model based on support vector machines / J. Cao [et al.] // International Journal of Network Management. — 2017. — № 27(1). — P. e1962. — DOI: https://doi.org/10.1002/nem.1962
45. Chahal H. Small Data's Big AI Potential / H. Chahal, H. Toner, I. Rahkovsky — Текст: электронный // https://cset.georgetown.edu/ : [сайт]. — URL: https://cset.georgetown.edu/wp-content/uploads/CSET-Small-Datas-Big-AI-Potential-1.pdf (дата обращения: 13.04.2022).
46. Chahal H. Messier than Oil:Assessing Data Advantage in Military A /H. Chahal, R. Fedasiuk, C. Flynn — Текст: электронный // https://cset.georgetown.edu/ : [сайт]. — URL: https://cset.georgetown.edu/publication/messier-than-oil-assessing-data-advantage-in-military-ai/ (дата обращения: 28.03.2022).
47. Chawla N. V. SMOTEBoost: Improving Prediction of the Minority Class in Boosting / N. V. Chawla. A.Lazarevic , L.O. Hall, K. W. Bowyer . - Текст : электронный // https://www.researchgate.net : [сайт]. — URL: https://www.researchgate.net/publication/220698913_SMOTEBoost_Improving_Predic tion_of_the_Minority_Class_in_Boosting (дата обращения: 21.04.2022).
48. Chen P. An analysis of linear subspace approaches for computer vision and pattern recognition. / P. Chen, D. Suter // International Journal of Computer Vision. -2006. -№68 (1). - P.83-106.
49. Chen V. Use-casegrounded simulations for explanation evaluation / V. Chen [et al.] — Текст: электронный // https://arxiv.org/: [сайт]. — URL: https://arxiv.org/pdf/2206.02256.pdf (дата обращения: 11.16.2022).
50. Dai D. Using machine learning and feature engineering to characterize limited material datasets of high-entropy alloys / D. Dai [et al.] //Computational Materials Science. — 2020. — № 290(1). — 6p. — DOI: 10.1016/j.commatsci.2020.109618
51. Dai J. Fairness via explanation quality: Evaluating disparities in the quality of post hoc explanations / J. Dai [et al.] —Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/2205.07277.pdf (дата обращения: 10.06.2022).
52. DeRousseau M.A., Kasprzyk J.R., Srubar W.V. Computational design optimization of concrete mixtures: A review, Cement and Concrete Research. Volume 109. 2018. pp 42-53.
53. Dominik J. Lenon Minorics, and Patrick Blobaum. Feature relevance quantification in explainable AI: A causal problem /J. Dominik, L. Minorics, P. Blobaum // International Conference on Artificial Intelligence and Statistics. PMLR, (August 2628 2020), Online. — 2020. —7p.
54. Du Q. Linear mixture analysis-based compression for hyperspectal image analysis /Q.Du, C.Chang // IEEE Transactions on Geoscience and Remote Sensing. — 2004. — № 42(4). — P. 875-891. —D0I:10.1109/TGRS.2003.816668
55. Dylan S., Sophie Hilgard, Emily Jia, Sameer Singh, and Himabindu Lakkaraju. Fooling lime and shap: Adversarial attacks on post hoc explanation methods /S.Dylan , S.Hilgard, E.Jia, S.Singh, and H.Lakkaraju // In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, , February 7-8, 2020, New York, USA. —2020.— P. 180-186.
56. Esbensen K. Strategy of multivariate image analysis (MIA)./ K. Esbensen , P. Geladi // Chemometrics & Intelligent Laboratory Systems. - 1989. - №7. - P.67-86.
57. Fayyad U. Multi-Interval Discretization of Continuous-Valued Attributes for Classification Learning / U. Fayyad, K. Irani // Machine Learning. — 1993. — № 1. — C. 1022-1026.
58. Feng S. Using deep neural network with small dataset to predict material defects / S. Feng, H. Zhou, H. Dong // Materials and Design. — 2019. — № 162. — P. 300-310. —DOI: 10.1016/j.matdes.2018.11.060
59. Fisher R. Studies in crop variation, ii, the manurial response of different potato varieties /R. Fisher , W .MacKenzie // Journal of Agricultural Science. — 1923. — № 13. — P. 411-444. —D0I:10.1017/S0021859600003592
60. Fong S. J. Finding an Accurate Early Forecasting Model from Small Dataset: A Case of 2019-nCoV Novel Coronavirus Outbreak /S. J. Fong [et al.] // International Journal of Interactive Multimedia and Artificial Intelligence. — 2020. — № 6(1). — P. 132. —DOI: 10.9781/ijimai.2020.02.002.
61. Fonti V. Feature selection using lasso. / V.Fonti, E. Belitser// VU Amsterdam Research Paper in Business Analytics. — 2017. - №30. —Р. 1-25.
62. Forsstrom J. J. Using data preprocessing and single layer perceptron to analyze laboratory data / J. J. Forsstrom // Scandinavian Journal of Clinical and Laboratory Investigation. — 1995. — № 55. — P.75-81. — DOI: 10.3109/00365519509088453
63. Gal Y. Deep Bayesian Active Learning with Image Data / Y. Gal, R. Islam, Z. Ghahramani — Текст: электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1703.02910.pdf (дата обращения: 29.03.2022).
64. Ghasemi J. B. Application of Random Forest Regression to Spectral Multivariate Calibration / J.B. Ghasemi, H. Tavakoli //Analytical Methods. — 2013. — № 5(7). — С. 1863 - 1871. — DOI:10.1039/C3AY26338J
65. Ghojogh B. The Theory Behind Overfitting, Cross Validation, Regularization, Bagging, and Boosting: Tutorial / B.Ghojogh. - Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL: https://www. researchgate.net/publication/333505702_The_Theory_Behind_Overfitting _Cross_Validation_Regularization_Bagging_and_Boosting_Tutorial (дата обращения: 03.04.2021).
66. Giansanti V.Comparing Deep and Machine Learning Approaches in Bioinformatics: A miRNA-Target Prediction Case Study / V. Giansanti [et al.] //Computational Science - ICCS, 19th International Conference (Faro, Portugal, June 1214 2019), Proceedings, Part III. —DOI:10.1007/978-3-030-22744-9_3
67. Gong H.-F. A Monte Carlo and PSO based virtual sample generation method for enhancing the energy prediction and energy optimization on small data problem: An empirical study of petrochemical industries /H.-F. Gong [et al.] // Applied Energy. — 2017. — № 197. — P. 405-415. —DOI: 10.1016/j.apenergy.2017.04.007
68. Guo F. Improving cardiac MRI convolutional neural network segmentation on small training datasets and dataset shift: A continuous kernel cut approach / F. Guo [et al.] // Medical Image Analysis. — 2020. — № 61. — С. 101636. —DOI: 10.1016/j.media.2020.101636
69. Guo X. On the Class Imbalance Problem /X.Guo, Y.Yin, C.Dong, G Yang, G. Zhou./ Fourth International Conference on Natural Computation. - Текст : электронный // https://sci2s.ugr.es/keel/pdf/specific/congreso/guo_on_2008.pdf : [сайт]. — URL: https://sci2s.ugr.es/keel/pdf/specific/congreso/guo_on_2008.pdf. - DOI 10.1109/ICNC.2008.871
70. Ha T.M. Off-line, handwritten numeral recognition by perturbation method / T.M. Ha, H. Bunke // IEEE Transactions on Pattern Analysis and Machine Intelligence.
— 1997. — № 19. — С. 535 - 539. — DOI: 10.1109/34.589216
71. Hagos M. T. Transfer Learning based Detection of Diabetic Retinopathy from Small Dataset / M.T. Hagos, S. Kant - Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/ftp/arxiv/papers/1905/1905.07203.pdf (дата обращения: 19.02.2021).
72. Hall L. O. Finding Covid-19 from Chest X-rays using Deep Learning on a Small Dataset / L. O. Hall [et al.] - Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/vc/arxiv/papers/2004/2004.02060v1.pdf (дата обращения: 16.02.2021).
73. Han D. CA new image classification method using CNN transfer learning and web data augmentation / D. Han, Q. Liu, W. Fan // Expert Systems with Applications.
— 2018. — № 95. — P. 43-56. —DOI: 10.1016/j.eswa.2017.11.028
74. Hoerl R. The Application of Ridge Techniques to Mixture Data: Ridge Analysis. / R. Hoerl // Technometrics. — 1987. — №29(2). — С. 161-172. — DOI: 10.1080/00401706.1987.10488207
75. Holm H. H. , Brodtkorb A.R., S^tra M. L. GPU Computing with Python: Performance, Energy Efficiency and Usability / Holm H. H. , Brodtkorb A.R., S^tra M. L. - Текст : электронный // https://www.researchgate.net : [сайт]. — URL: https://www.researchgate.net/publication/338489271_GPU_Computing_with_Python_P erformance_Energy_Efficiency_and_Usability (дата обращения: 11.09.2022).
76. Huang X., Marques-Silva J. Huang, X., Marques-Silva, J.: The inadequacy of shapley values for explainability. arXiv preprint CoRR abs/2302.08160 (2023). arXiv:2302.08160
77. Inoue H. Data Augmentation by Pairing Samples for Images Classification / H. Inoue - Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1801.02929.pdf (дата обращения: 16.11.2021).
78. Jackson J.E. Principal components and factor analysis: Part III: What is factor analysis /J.E. Jackson // Journal of Quality Technology. — 1981. — № 13(2). — P. 125-130. —DOI:10.1007/978-981-10-5218-7_8
79. Jalali A. Sensitive deep convolutional neural network for face recognition at large standoffs with small dataset /A. Jalali, R. Mallipeddi, M. Lee // Expert Systems with Applications. — 2017. — № 87. — P. 304-315. —DOI: 10.1016/j.eswa.2017.06.025.
80. Kalousis A. Stability of feature selection algorithms: A study on high-dimensional spaces. /A. Kalousis A, J. Prados, M.Hilario //Knowledge and Information Systems. -№12(1). —2007. — P. 95-116. — DOI: 10.1007 / s10115-006-0040-8
81. Khan J. Y. A Benchmark Study on Machine Learning Methods for Fake News Detection / J. Y. Khan [et al.] - Текст : электронный // https://arxiv.org/ : [сайт].
— URL: https://arxiv.org/abs/1905.04749 (дата обращения: 01.04.2022).
82. Khatun Mst. S. Evolution of Sequence-based Bioinformatics Tools for Protein-protein Interaction Prediction /Mst. S. Khatun [et al.] // Current Genomics. — 2020. — № 21(6). — P. 454-463. —DOI: 10.2174/1389202921999200625103936
83. Ko S. GVES: machine learning model for identification of prognostic genes with a small dataset / S. Ko, J. Choi, J. Ahn // Scientific Reports. — 2021. — № 11(1).
— P. 439. —DOI: 10.1038/s41598-020-79889-5
84. Kokol P. Machine learning on small size samples: A synthetic knowledge synthesis / P. Kokol, M. Kokol, S. Zagoranski —Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/ftp/arxiv/papers/2103/2103.01002.pdf (дата обращения: 07.11.2022).
85. Kukacka J. Regularization for Deep Learning: A Taxonomy / J. Kukacka , V. Golkov , D. Cremers. - Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL:
https://www.researchgate.net/publication/320726611_Regularization_for_Deep_Learni ng_A_Taxonomy (дата обращения: 15.10.2021).
86. Kumar I. A Comparative Study of Supervised Machine Learning Algorithms for Stock Market Trend Prediction / I. Kumar [et al.] // in. Proceedings of the International Conference on Inventive Communication and Computational Technologies. ICICCT. — 2018. — № — P. 1003-1007. —DOI: 10.1109/ICICCT.2018.8473214
87. Landinez-Lamadrid D. C. Shapley Value: its algorithms and application to supply chains / D. C. Landinez-Lamadrid, D. G. Ramirez-Ríos, D. N. Rodado , K. Parra Negrete, J.P. Combita Niño // INGE CUC. — 2017. — № 13(1). — С. 61-69.
88. Lapeyre J., Han T., Wiles B., Ma H., Huang J., Sant G., Kumar A. 2021. Machine learning enables prompt prediction of hydration kinetics of multicomponent cementitious systems. Scientific Reports. D0I:10.1038/s41598-021-83582-6
89. Li D.C. Detecting representative data and generating synthetic samples to improve learning accuracy with imbalanced data sets / D.C. Li, C. Hu, C-W. Yeh. - Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL: https: //www.researchgate.net/publication/31911335 5_Detecting_representative_data_an d_generating_synthetic_samples_to_improve_learning_accuracy_with_imbalanced_dat a_sets (дата обращения: 12.12.2022).
90. Li Y., Cui X. Shapley Interpretation and Activation in Neural Networks. arXiv: 1909.06143v2 [stat.ML] 17 Sep 2019
91. Li.J. Feature Selection: A Data Perspective./J.Li, K.Cheng, S.Wang, F.Morstatter, H. Liu// ACM Computing Surveys. Volume 50. — 2017. —P. 1-45. D0I:org/10.1145/3136625
92. Liu S. Very deep convolutional neural network based image classification using small training sample size / S. Liu, W. Deng // in. Proceedings - 3rd IAPR Asian Conference on Pattern Recognition, ACPR 2015 (Kuala Lumpur, Malaysia, November 03-06 2015). —DOI: 10.1109/ACPR.2015.7486599
93. Lu T., Li H., Li M., Wang S., Lu W. 2022. Inverse Design of Hybrid Organic-Inorganic Perovskites with Suitable Bandgaps via Proactive Searching Progress. ACS Omega. 7. DOI:10.1021/acsomega.2c01380
94. MacAllister A. Using high-fidelity meta-models to improve performance of small dataset trained Bayesian Networks /A. MacAllister, A. Kohl, E. Winer // Expert Systems with Applications. — 2020. — № 139. — P. 112830. —DOI: 10.1016/j.eswa.2019.112830
95. Malinowski E.R. Factor Analysis in Chemistry / Malinowski E.R. — 1 ed. — New York: John Wiley & Sons, 2002 — 251 p.
96. Mason Ch. H. Collinearity, power, and interpretation of multiple regression analysis /Ch. H. Mason , Jr. W.D. Perreault // Journal of Marketing Research. —1991. —№ 3. —P. 268 -280.
97. Merrick L. The Explanation Game: Explaining Machine Learning Models Using Shapley Values / L. Merrick, A .Taly // Machine Learning and Knowledge Extraction. — 2020. — № 1. — P. 17-38. —DOI:10.1007/978-3-030-57321-8_2
98. Mukhamedov B. O. Multicomponent Fe-Cr-based alloys. Machine learning. Mendeley Data. V 1. 2021. DOI: 10.17632/y6hsd3nzkc.1
99. Mukhamedov B. O., Karavaev, K. V., Abrikosov, I. A. Machine learning prediction of thermodynamic and mechanical properties of multicomponent Fe-Cr-based alloys. Phys. Rev. Mater. V 5. 2021. DOI: 10.1103/PhysRevMaterials.5.104407
100. Mukund S. The many Shapley values for model explanation / S. Mukund, A. Najmi —Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1908.08474.pdf (дата обращения: 25.01.2022).
101. Munjal S., Singla N., Sinha N. Hyper-Threading Technology in Microprocessor / S. Munjal , N. Singla , N. Sinha // International Journal for Research in Applied Science & Engineering Technology . — 2014. — № 2. — P. 382-383.
102. Musso M. Identifying Reliable Predictors of Educational Outcomes Through Machine-Learning Predictive Modeling /M. Musso, E. C. Cascallar, N. Bostani, M.l. Crawford // Frontiers in Education . — 2020. — № 5. — P. 104. — DOI: 10.3389/feduc.2020.00104
103. Nara Y. Face recognition using improved principal component analysis / Y. Nara, Y. Jianming , Y. Suematsu // In: Proceedings of2003 International Symposium on Micromechatronics and Human Science IEEE (Nagoya, Japan, October 19-22 2003). — DOI: 10.1109/MHS.2003.1249913
104. Özgür A. Effect of Dropout layer on Classical Regression Problems /A. Özgür , F. Nar // 28th Signal Processing and Communications Applications Conference (Bremen, October 2020 ). —DOI: 10.1109/SIU49456.2020.9302054
105. Pedregosa F. Scikit-learn: Machine learning in Python./ F.Pedregosa F., G. Varoquaux, A.Gramfort, V.Michel [et al.].// Journal of Machine Learning Research. — 2011. — №12. P. 25-30.
106. Peng X. Learning Deep Object Detectors from 3D Models / X. Peng, B.Sun, K. Ali, K. Saenko // in Proceedings of the 2015 IEEE International Conference on Computer Vision (Santiago, Chile, December 07-13, 2015). —P.127S-12S6. —DOI: 10.1109/ICCV.2015.151
107. Poggio T. Why and When Can Deep - but Not Shallow - Networks Avoid the Curse of Dimensionality: a Review./ T. Poggio , H.Mhaskar , L. Rosasco , M. Brando , Q. Liao - 2017. - CBMM Memo №058.
10S. Rahkovsky I. AI Research Funding Portfolios and Extreme Growth [Текст] / I. Rahkovsky [et al.] // Fronters in Research Metrics and Analytics. — 2021. — № 6. — P. 1-12. —DOI:10.33S9/frma.2021.630124
109. Rajpurkar P. AppendiXNet: Deep Learning for Diagnosis of Appendicitis from A Small Dataset of CT Exams Using Video Pretraining /P. Rajpurkar [et al.] // Scientific Reports. — 2020. — № 10(1). — P. 395S. —DOI: 10.103S/s4159S- 02061055-6
110. Razzak I. Randomized nonlinear one-class support vector machines with bounded loss function to detect of outliers for large scale IoT data / I.Razzak [et al.] // Future Generation Computer Systems. — 2020. — № 112. — P. 715-723. —DOI: 10.1016/j.future.2020.05.045
111. Reich Y. Machine learning of material behaviour knowledge from empirical data / Y. Reich, N.Travitzky // Materials and Design. — 1995. — № 16(5). — P. 251259. —DOI: 10.1016/0261-3069(96)00007-6
112. Renault T. Sentiment analysis and machine learning in finance: a comparison of methods and models on one million messages / T. Renault // Digital Finance. — 2020. — № 2(1). —P. 1-13. —DOI: 10.1007/s42521-019-00014-x
113. Roobaert D. Information Gain, Correlation and Support Vector Machines. / D. Roobaert, G. Karakoulas, N.V. Chawla // Studies in Fuzziness and Soft Computing, vol 207. Springer, Berlin, Heidelberg. — 2016. — P.463-464. — DOI:https://doi.org/10.1007/978-3-540-35488-8_23
114. Roth T. A. The Shapley value: essays in honor of Lloyd S. Shapley / T. A. Roth — 1 ed. — Cambridge: Cambridge University Press, 1988 — 330 p.
115. Satyapriya K. The disagreement problem in explainable machine learning: A practitioner's perspective / K. Satyapriya—Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/2206.11104v1.pdf (дата обращения: 14.06.2022).
116. Scott M. Consistent individualized feature attribution for tree ensembles / M. Scott, G. Erion, S. Lee — Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1802.03888.pdf (дата обращения: 17.02.2022).
117. Sedgwick P. M. Pearson's correlation coefficient / P. M. Sedgwick —Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL: https://www.researchgate.net/publication/275470782_Pearson's_correlation_coefficient (дата обращения: 11.01.2023). —DOI:10.1136/bmj.e4483
118. Shai Sh.-Sh. 18 - Decision Trees /Sh.-Sh Shai, B-D. Shai // From Theory to Algorithms. — 2014. — № 2. — P. 212. —ISBN 978-1-107-05713-5
119. Shaikhina T. Decision tree and random forest models for outcome prediction in antibody incompatible kidney transplantation / T. Shaikhina [et al.] // Biomedical Signal Processing and Control. — 2019. — № 52. — P. 456-462. —DOI: 10.1016/j.bspc.2017.01.012
120. Silitonga P. Comparison of Dengue Predictive Models Developed Using Artificial Neural Network and Discriminant Analysis with Small Dataset / P. Silitonga
[et al.] // Applied Sciences. — 2021. — № 11(3). — P. 943. —DOI: 10.3390/app11030943
121. Smilkov D. SmoothGrad: removing noise by adding noise / D. Smilkov, N. Thorat, B. Kim, F. Viegas, M. Wattenberg — Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/pdf/1706.03825.pdf (дата обращения: 15.05.2022).
122. Sobradelo R. Using Statistics to Quantify and Communicate Uncertainty During Volcanic Crises / R. Sobradelo, J. Marti — Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL: https://www.researchgate.net/publication/318435747_Using_Statistics_to_Quantify_an d_Communicate_Uncertainty_During_Volcanic_Crises (дата обращения: 12.03.2022). — DOI: 10.1007/11157_2017_15
123. Spiga O. Machine learning application for development of a data-driven predictive model able to investigate quality of life scores in a rare disease / O. Spiga [et al.] // Orphanet Journal of Rare Diseases. — 2020. — № 15(1). — P. 3-8. — DOI: 10.1186/s13023-020-1305-0
124. Subirana B. Hi Sigma, do I have the Coronavirus?: Call for a New Artificial Intelligence Approach to Support Health Care Professionals Dealing With The COVID-19 Pandemic / B.Subirana - Текст : электронный // https://arxiv.org/ : [сайт]. — URL: https://arxiv.org/ftp/arxiv/papers/2004/2004.06510.pdf (дата обращения: 19.02.2021).
125. Tibshirani R. Regression shrinkage and selection via the lasso./ R.Tibshirani// Journal of the Royal Statistical Society: Series B (Methodological). — 1996. —№ 58(1). — Р. 267-288. — DOI:10.1007/s10115-006-0040-8
126. Tits N. Exploring Transfer Learning for Low Resource Emotional TTS /N. Tits, K.Haddad, T. Dutoit // Intelligent Systems and Applications. — 2020. — P. 52-60. —DOI: 10.1007/978-3-030-29516-5_5
127. Trafalis T.B. Data mining techniques for improved wsr-88d rainfall estimation /T.B. Trafalis, M.B. Richman, A. White, B. Santosa // Computers & Industrial Engineering. — 2002. — № 43(4). — P. 775-786. —DOI:10.1016/S0360-8352(02)00139-0
128. Vabalas А. Machine learning algorithm validation with a limited sample size / A.Vabalas [et al.] — Текст : электронный // https://journals.plos.org/ : [сайт]. — URL: https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0224365 (дата обращения: 21.04.2022).
129. Vasileios S., Ouellet-Plamondon C. M. Automating mix design for 3D concrete printing using optimization methods. Digital Discovery. 2022. V1. pp 645-657. DOI: 10.1039/D2DD00040G
130. Venkat N. The Curse of Dimensionality: Inside Out / Venkat N. - Текст : электронный // https://www.researchgate.net/ : [сайт]. — URL: https://www.researchgate.net/publication/327498046_The_Curse_of_Dimensionality_I nside_Out (дата обращения: 15.03.2022).
131. Wang Y. Predicting class-imbalanced business risk using resampling, regularization, and model emsembling algorithms / Wang Y., X. S.Ni // International Journal of Managing Information Technology. — 2019. — № 1. — С. 11.
132. Wax M. Detection of signals by information theoretic criteria / M.Wax, T. Kailath // IEEE Transactions on Acoustics, Speech & Signal Processing. — 1985. — № 33(2). — P. 387-392. —DOI:10.1109/TASSP.1985.1164557
133. Wen L. A transfer convolutional neural network for fault diagnosis based on ResNet-50 / L. Wen, X. Li, L.Gao // Neural Computing and Applications. — 2020. — № 16(10). — P. 6263-6271. —DOI: 10.1007/s00521-019- 04097-w
134. West D. M. Brookings survey finds worries over AI impact on jobs and personal privacy, concern U.S. will fall behind China / D. M. West — Текст : электронный // https://www.brookings.edu/ : [сайт]. — URL: https://www.brookings.edu/blog/techtank/2018/05/21/brookings-survey-finds-worries-over-ai-impact-on-jobs-and-personal-privacy-concern-u-s-will-fall-behind-china/ (дата обращения: 13.04.2022).
135. Yadav S. S. Deep convolutional neural network based medical image classification for disease diagnosis /S. S. Yadav , S. M. Jadhav // Journal of Big Data. — 2019. — № 6(1). — P. 113. —DOI: 10.1186/s40537-019-0276- 2
136. Yamashita R. Convolutional neural networks: an overview and application in radiology /R. Yamashita // Insights into Imaging. — 2018. — № 9(4). — P. 611-629. —DOI: 10.1007/s13244-018-0639-9
137. Yang F., li Z., Wang Q., Jiang B., Yan B., Zhang P., Xu W., Dong C., Liaw P. 2020. Cluster-formula-embedded machine learning for design of multicomponent P-Ti alloys with low Young's modulus. npj Computational Materials. 6. 101. DOI: 10.1038/s41524-020-00372-w
138. Yeh I. Modeling of strength of high-performance concrete using artificial neural networks. Cement and Concrete Research. V 28. 1998. pp. 1797-1808. DOI: 10.1016/S0008-8846(98)00165-3
139. Zhang Y. A strategy to apply machine learning to small datasets in materials science / Y. Zhang, C. Ling —Текст : электронный // https://www.nature.com/ : [сайт]. — URL: https://www.nature.com/articles/s41524-018-0081-z (дата обращения: 02.05.2022).
140. Zhang Z. Topological Analysis and Gaussian Decision Tree: Effective Representation and Classification of Biosignals of Small Sample Size / Z. Zhang [et al.] // IEEE Transactions on Biomedical Engineering. — 2017. — № 64(9). — P. 2288-2299. —DOI: 10.1109/TBME.2016.2634531.
Приложение А. Код алгоритма SSMSh (на языке программирования
Python)
Листинг программы
#ЗАГРУЗКА ФАЙЛОВ И НАЗНАЧЕНИЕ ЦЕЛЕВЫХ ПЕРЕМЕННЫХ import pandas as pd import numpy as np
from sklearn.model_selection import train_test_split, KFold from xgboost import XGBRegressor
from sklearn.linear_model import LinearRegression import shap
import matplotlib.pyplot as plt
# Загрузка данных
file_path = '.xls' #принимает файлы в формате XLS df = pd.read_excel(file_path)
# Показать все переменные
print("Наименования переменных в наборе данных:") print(df.columns)
# Назначение целевых переменных и их важности target_variables = ['Целевая переменная 1', 'Целевая переменная 2','Целевая переменная n',]
target_importance = [ 0.3, 0.3, 0.4] # Сумма весов должна быть = 1.0
y = df[target_variables] X = df.drop(columns=target_variables)
#РАСЧЕТ МЕТРИКИ ТОЧНОСТИ
# Расчет wWAPE
def wWAPE(y_true: pd.DataFrame, y_pred: np.ndarray, target_importance: dict, max_error=10): total_error = 0 total_sum = 0 valid_columns = 0
for i, col in enumerate(y_true.columns):
abs_diff = np.abs(y_true[col].values - y_pred[:,
sum_abs_true = np.sum(np.abs(y_true[col].values))
# Проверка на деление на ноль if sum_abs_true == 0:
print(f"Предупреждение: Сумма абсолютных истинных значений для {col} равна нулю.") continue
error = np.sum(abs_diff) / sum_abs_true if error > max error:
print(f"Предупреждение: Высокое значение ошибки для {col}: {error}. Исключение этого столбца из расчетов.") continue
weighted_error = error * target_importance[col] total_error += weighted_error total_sum += target_importance[col] valid_columns += 1
#print(f"Column: {col}, Error: {error}, Weighted Error: {weighted_error}")
if valid_columns == 0 or total_sum == 0:
print("Предупреждение: Нет допустимых столбцов или общая сумма значений целевой важности равна нулю.")
return np.inf # Возвращаем бесконечность, чтобы предотвратить деление на ноль
return total error / total sum
# ОЦЕНКА НЕОБХОДИМОГО КОЛИЧЕСТВА ДОПОЛНИТЕЛЬНЫХ ОБРАЗЦОВ
# В случае не достижения показателей целевой точности на указанном количестве итераций
def estimate_required_samples(accuracies, num_samples, target_accuracy):
if len(accuracies) < 2: return None
# Линейная регрессия для оценки необходимого количества образцов
x = np.array(num_samples) y = np . array ( accuracies )
coeffs = np.polyfit(x, y, 1) # Линейная регрессия slope = coeffs[0] intercept = coeffs[1]
estimated_samples_linear = (target_accuracy * 100 -intercept) / slope
# Ограничение на завышение количества требуемых образцов
if estimated_samples_linear > max(num_samples) * 2:
estimated_samples = max(num_samples) * 2 else:
estimated_samples = estimated_samples_linear
# Проверка, чтобы количество дополнительных образцов было положительным и больше текущего количества
if estimated_samples > max(num_samples):
return estimated_samples else:
return None
# ПРОЦЕСС ОБУЧЕНИЯ И ОТБОРА ПРИЗНАКОВ
def train_and_select_features(X, y, Target_Accuracy, model, target_importance):
initial_samples = max(1, X.shape[1] // 5) # Установка начального количества образцов
feature_importance_accum = np.zeros(X.shape[1]) zero_importance_count = np.zeros(X.shape[1]) # Отслеживание количества итераций с нулевой важностью для каждого признака
buffer_iterations = int(0.8 * X.shape[1]) # Установка количества итераций для "буфера" accuracies = [] num_samples = []
bootstrap iterations = 5 # Установка количества итераций бутстреппинга для повышения надежности
stable accuracy count = 0 # Счетчик для проверки устойчивости точности
cumulative importance = [] # Счетчик хранения накопленной важности на каждой итерации max_samples = len(X)
max splits = 5 # Установка количества разбиений для кросс-валидации
while initial_samples <= max_samples:
print(f"Текущий размер выборки: {initial_samples-")
# Вывод текущего размера выборки
shap_values_list = [] bootstrap_accuracies = []
for _ in range(bootstrap_iterations):
# Бутстреппинг bootstrap_indices =
np.random.choice(range(initial_samples), size=initial_samples, replace=True)
X_bootstrap = X.iloc[bootstrap_indices] y_bootstrap = y.iloc[bootstrap_indices]
# Адаптивная кросс-валидация или разбиение if initial_samples == 1:
X_train, y_train = X_bootstrap, y_bootstrap X_test, y_test = X_bootstrap, y_bootstrap elif initial_samples < 3:
X_train, X_test, y_train, y_test = train_test_split(X_bootstrap, y_bootstrap, test_size=0.5, random_state=4 2) else:
n_splits = min(max_splits, initial_samples) kf = KFold(n_splits=n_splits, shuffle=True,
random_state=4 2)
for train_index, test_index in kf.split(X_bootstrap):
X_train, X_test = X_bootstrap.iloc[train_index], X_bootstrap.iloc[test_index]
y_train, y_test = y_bootstrap.iloc[train_index], y_bootstrap.iloc[test_index]
# Убедитесь, что вызов fit корректен
для всех моделей
model.fit(X_train, y_train) y_pred = model.predict(X_test)
acc = (1 - wWAPE(y_test, y_pred, target_importance)) * 100
bootstrap_accuracies.append(acc) print(f"Точность бутстрэп-итерации:
{acc:.2f}%")
explainer = shap.TreeExplainer(model) shap_values = explainer.shap values(X test)
if isinstance(shap_values, list):
shap_values = shap_values[0] # Выбор первого элемента в случае, если shap values является списком
shap_values_list.append(shap_values) continue
model.fit(X_train, y_train) y_pred = model.predict(X_test)
acc = (1 - wWAPE(y_test, y_pred, target_importance)) * 100
bootstrap_accuracies.append(acc) print(f"Точность бутстрэп-итерации:
{acc:.2f}%")
explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X_test)
if isinstance(shap_values, list):
shap_values = shap_values[0]
shap_values_list.append(shap_values)
mean_shap_values = np.mean(np.abs(np.vstack(shap_values_list)), axis=0) # Среднее значение значимости по всем итерациям
if mean_shap_values.shape[0] == feature_importance_accum.shape[0]:
feature_importance_accum += mean_shap_values * np.median(bootstrap_accuracies)
zero_importance_count[mean_shap_values == 0] += 1 # Увеличение счетчика для нулевой важности else:
print(f"Несоответствие формы: mean_shap_values.shape[0]} vs feature_importance_accum.shape[0]}")
cumulative_importance.append(np.copy(feature_importance_acc um)) # Сохранение текущей накопленной важности
Present_Accuracy = (1 - wWAPE(y_bootstrap, model.predict(X_bootstrap), target_importance)) * 100
if not np.isfinite(Present_Accuracy) or Present_Accuracy < 0:
print("Обнаружена не конечная или отрицательная Present_Accuracy. Разрыв цикла.") break
accuracies.append(Present_Accuracy) num_samples.append(initial_samples)
print(f"Текущий размер выборки: {initial_samples-, Текущая точность: {Present_Accuracy:.2f}%")
if Present_Accuracy >= Target_Accuracy * 100:
stable_accuracy_count += 1 else:
stable_accuracy_count = 0
if stable accuracy count >= 5: # Установка значения сохранения целевой точности на n последовательных итерациях
print("Устойчивая точность достигнута. Завершение алгоритма.") break
# Исключение признаков с нулевой важностью после буферного периода
non_zero_features = np.where(zero_importance_count < buffer_iterations)[0]
if len(non_zero_features) > 0:
X = df.drop(columns=target_variables).iloc[:, non_zero_features]
feature_importance_accum = feature_importance_accum[non_zero_features]
zero_importance_count = zero_importance_count[non_zero_features] else:
break
# Увеличение количества выборок для следующей
итерации
initial samples += 1
# Проверка превышения максимального количества
итераций
if initial_samples > max_samples:
print(f"Достигнуто максимальное количество выборок: {max_samples}") break
if initial_samples > max_samples and stable accuracy count < 5: # Установка значения сохранения целевой точности на n последовательных итерациях
print("Данных для построения модели с целевой точностью недостаточно.")
estimated_samples = estimate_required_samples(accuracies, num_samples, Target_Accuracy)
if estimated_samples:
print(f"Для достижения целевой точности потребуется около estimated samples:.0f} дополнительных образцов.")
else:
print("Не удалось оценить необходимое количество дополнительных образцов.")
return feature_importance_accum, cumulative_importance, num_samples, accuracies
# ОПРЕДЕЛЕНИЕ МОДЕЛИ
model = XGBRegressor(n_jobs=-1, reg_alpha=1.0, reg_lambda=1.0)
Target Accuracy = 0.98 # Установите целевую точность
# Преобразование важности целевых переменных в словарь target_importance_dict = {target: importance for target, importance in zip(target_variables, target_importance)}
# Обучение модели и отбор признаков feature_importance_accum, cumulative_importance, num_samples, accuracies = train_and_select_features(X, y, Target_Accuracy, model, target_importance_dict)
# ВИЗУАЛИЗАЦИЯ РЕЗУЛЬТАТОВ
# График 1: Динамика точности с использованием скользящего среднего
window size = 5
if len(accuracies) >= window_size:
accuracies_smoothed = np.convolve(accuracies, np.ones(window_size)/window_size, mode='valid')
num_samples_smoothed = num_samples[window_size - 1:] else:
accuracies_smoothed = accuracies num_samples_smoothed = num_samples
plt.figure(figsize=(12, 6))
plt.plot(num_samples_smoothed, accuracies_smoothed,
marker='o', label='Точность модели')
plt.axhline(y=Target_Accuracy * 100, color='r',
linestyle='--', label='Целевая точность')
plt.xlabel('Количество экспериментов')
plt.ylabel('Точность (%)')
plt.title('Динамика точности модели при увеличении числа
экспериментов')
plt.legend()
plt.grid(True)
plt. show ()
# График 2: Расчетная важность признаков if np.sum(feature_importance_accum) != 0:
relative_importance = feature_importance_accum / np.sum(feature_importance_accum) * 100 else:
relative_importance = np.zeros_like(feature_importance_accum)
sorted_idx = np.argsort(relative_importance)[::-1] sorted_importance = relative_importance[sorted_idx] sorted_features =
df.drop(columns=target_variables).columns[sorted_idx] plt.figure(figsize=(12, 6))
bars = plt.bar(sorted_features, sorted_importance)
plt.xlabel('Признаки')
plt.ylabel('Расчетная важность (%)')
plt.title('Расчетная важность признаков')
plt.xticks(rotation=90)
plt.grid(True)
# Добавление значений для каждого столбца for bar in bars:
height = bar.get_height()
plt.text(bar.get_x() + bar.get_width() / 2.0, height, f'{height:.2f}%', ha='center', va='bottom')
plt. show ()
# ФУНКЦИЯ ДЛЯ ПРОГНОЗИРОВАНИЯ НА НОВЫХ ДАННЫХ
def predict_new_data(model, new_data): ii ii ii
Принимает обученную модель и новый набор данных (в формате DataFrame) и возвращает предсказанные значения целевой переменной.
Parameters:
model: Обученная модель
new data: DataFrame с новыми значениями признаков Returns:
numpy.array: Предсказанные значения целевой переменной
ii II II
# Проверка new data на содержание всех необходимых признаов
missing_features = set(X.columns) -set(new_data.columns)
if missing_features:
raise ValueError(f"Отсутствуют признаки: missing_features}")
# Прогнозирование на новых данных predictions = model.predict(new_data) return predictions
# заполнение набора данных "new data4 new_data = pd.DataFrame({
'Признак 1': [значение 1], 'Признак 2': [значение 2], 'Признак 3': [значение 3], 'Признак n': [значение n],
# Необходимо добавить все признаки, используемые моделью
})
try:
predictions = predict_new_data(model, new_data) print("Предсказанные значения целевой переменной:", predictions) except ValueError as e: print(e)
Приложение Б. Акт внедрения результатов исследования
О внедрении результатов исследований, полученных в диссертации Воробьева Александра Викторовича «РАЗРАБОТКА МЕТОДА МИНИМИЗАЦИИ ОБЪЕМА ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ ПРИ ПРОЕК ТИРОВАНИИ МНОГОКОМПОНЕНТНЫХ СМЕСЕЙ НА ОСНОВЕ ИСПОЛЬЗОВАНИЯ ЗНАЧЕНИЙ ШЕПЛИ»
1. Настоящий акт составлен о том. что в АО Завод Новых Полимеров "СЕНЕЖ" принят к использованию предложенный Воробьевым A.B. метод проектирования многокомпонентных смесей с использованием значения Шепли. позволяющий минимизировать объем экспериментальных исследований, включающий в себя процедуру отбора компонентов смеси и принцип ограничения объема экспериментальных исследований по достижению целевой точности.
2. Представленный прототип программной реализации применялся для разработки опытных образцов продукции и позволил сократить количество экспериментов и повысить устойчивость результатов проектирования.
3. Предложенный автором алгоритм позволяет усовершенствовать и повысить эффективность существующих высокопроизводительных алгоритмов принятия решений в области анализа многокомпонентных смесей, а также повысить качество интерпретации моделей.
Данный акт внедрения не налагает на АО Завод Новых Полимеров "СЕНЕЖ" никаких дополнительных финансовых и юридических обязательств перед Воробьевым Александром Викторовичем.
«Утверждаю»:
АКТ
Приложение В. Свидетельство о государственной регистрации
программы для ЭВМ
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.