Разработка алгоритмов оценивания характеристик диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Игитян Елена Владимировна

• Игитян Елена Владимировна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Игитян Елена Владимировна

ПЕРЕЧЕНЬ УСЛОВНЫХ СОКРАЩЕНИЙ

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ СОСТОЯНИЯ ИССЛЕДОВАНИЙ В ОБЛАСТИ ОЦЕНИВАНИЯ ХАРАКТЕРИСТИК ДИАЛОГОВЫХ СИСТЕМ

1.1 Общая характеристика диалоговых систем, их разновидностей и особенностей функционирования

1.2 Анализ средств оценивания характеристик диалоговых систем

Выводы по главе

ГЛАВА 2 РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ ДЛЯ ОЦЕНИВАНИЯ ХАРАКТЕРИСТИК ДИАЛОГОВОЙ СИСТЕМЫ

2.1 Разработка алгоритма оценивания характеристик диалоговой системы на основе нечеткого вывода

2.2 Разработка и исследование алгоритма нейросетевой настройки

параметров нечеткого вывода

Выводы по главе

ГЛАВА 3 ОЦЕНИВАНИЕ ВЕРОЯТНОСТНО-ВРЕМЕННЫХ ХАРАКТЕРИСТИК ЧЕЛОВЕКО-МАШИННОГО ДИАЛОГА

3.1 Разработка модели человеко-машинного диалога

3.2 Проведение экспериментальных исследований с применением модели

человеко-машинного диалога

Выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А Акты внедрения результатов диссертаций

ПРИЛОЖЕНИЕ Б Свидетельство о государственной регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ В Программный код компьютерной программы «Модуль нечеткого вывода для поддержки принятия решений по выбору анализаторов больших массивов естественно-языковых данных»

ПЕРЕЧЕНЬ УСЛОВНЫХ СОКРАЩЕНИЙ

ANFIS - адаптивная система нейронно-нечеткого

(Adaptive Neuro-Fuzzy вывода

Inference System)

BERT - двунаправленная нейронная сеть-

(Bidirectional Encoder кодировщик

Representations from Transformers)

BLEU - двуязычный оценочный дублер

(Bilingual Evaluation

Duplexy)

GPT - генеративный предобученный

(Generative Pre-trained нейросетевой трансформер

Transformer)

HTML - язык гипертекстовой разметки

(HyperText Markup

Language)

KPI

(Key Performance Indicator)

- ключевой показатель эффективности

LSTM

(Long Short-Term Memory)

архитектура искусственной нейронной сети с долгой краткосрочной памятью

NLP - автоматическая обработка естественного

(Natural Language языка

Processing)

QAS - вопросно-ответная система

Question-Answering

System

Введение диссертации (часть автореферата) на тему «Разработка алгоритмов оценивания характеристик диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой»

ВВЕДЕНИЕ

Актуальность темы. Одним из важнейших направлений автоматической обработки естественно-языковых данных является разработка и совершенствование интеллектуальных диалоговых систем и их упрощенных версий - чат-ботов. Эти системы стали все чаще применяться в коммерческих проектах, где они используются в общении с клиентами для помощи в покупке товаров, технической поддержки, навигации по сайтам и т.д. Диалоговые системы используются в качестве интеллектуальных модулей общения социальных роботов, которые ухаживают за больными, престарелыми людьми.

Задача диалоговых систем - не только продемонстрировать пользователю свои коммуникативные способности, но и предоставить максимально точный ответ на вопрос, заданный на естественном языке. Диалоговые системы, основанные на использовании программных средств обработки естественно -языковых данных и предназначенные для выдачи ответов на заданные пользователями вопросы, будем именовать вопросно-ответными системами. Современные вопросно-ответные системы обладают модулями контентной аналитики, позволяющими собирать и упорядочивать информацию, а также использовать машинное обучение на основе нейронных сетей. Известными примерами таких систем являются вопросно-ответные сервисы «ChatGPT» (OpenAI), «Watson» (IBM), виртуальные ассистенты «Алиса» (Яндекс), «Siri» (Apple), «Google Assistant», «Amazon Alexa», «Cortana» (Microsoft). Специалисты утверждают, что существует потребность в адекватных средствах оценивания характеристик диалоговых систем. Недостает общепризнанных методов, моделей, метрик, критериев и количественных показателей, на основе которых можно было бы обеспечить обоснованность принимаемых решений о качестве функционирования диалоговых систем, объективно выявить их недостатки и определить направления дальнейшего совершенствования.

Созданию и оцениванию качества диалоговых приложений посвящены работы Ю.А. Жеребцовой, Ю.М. Куратова, И.В. Смирнова, И.Ф. Юсупова,

H.M. Hapke, C. Howard, H. Lane, A. Lavie и многих других отечественных и зарубежных исследователей и разработчиков программных решений. В научно-технической литературе для оценивания диалоговых систем предложены наборы многих самых различных показателей. В частности, оценивание ответов, выдаваемых диалоговой системой, может осуществляться, на основе использования стандартных показателей качества классификации (точность, полнота и F-мера).

В рамках теории информационного поиска для оценивания показателя точности используется выражение (1.1). Оценивание показателя полноты информационного поиска осуществляется с помощью выражения (1.2). Вычисление значений этих метрик осуществляется для оценивания качества информационного поиска на основе подсчета конечного числа найденных (не найденных) системой релевантных (нерелевантных) документов. Чтобы применить данные метрики для оценивания характеристик диалоговых систем, потребуется вычислить количество содержащейся в ответе требуемой пользователю информации или другой информации, что весьма проблематично.

Показатели, применяемые для оценивания диалоговых систем, не обеспечивают полноту учета параметров их функционирования, являются либо не в полной мере подходящими к оценке выполнения вопросно-ответных функций, либо не самыми важными, второстепенными, поверхностными. Методы и алгоритмы вычисления этих показателей не позволяют в требуемой мере обеспечить тонкий учет наиболее существенных аспектов функционирования диалоговой системы, оценить её приспособленность к удовлетворению информационных потребностей пользователя в процессе ведения диалога. Таким образом, задача разработки средств оценивания характеристик диалоговых систем с точки зрения выполнения ими вопросно-ответных функций, является актуальной. Для совершенствования процесса оценивания характеристик знание-ориентированных диалоговых систем в работе предложено применение моделей нечеткого вывода и нейросетевого аппарата.

Объектом исследования являются процессы функционирования диалоговых систем.

Предмет исследования - модели и алгоритмы оценивания характеристик функционирования диалоговых систем.

Цель работы - совершенствование процесса разработки диалоговой системы за счет повышения обоснованности принимаемых решений о качестве её функционирования на основе создания моделей и алгоритмов оценивания характеристик системы с использованием нечеткого вывода с нейросетевой настройкой и вероятностно-временных графов.

Для достижения поставленной цели сформулированы и решены следующие задачи исследования:

1) обоснование показателей для оценивания характеристик функционирования вопросно-ответной системы;

2) разработка алгоритма оценивания характеристик функционирования вопросно-ответной системы на основе применения нечеткого вывода;

3) разработка алгоритма настройки параметров нечеткого вывода для оценивания характеристик функционирования вопросно-ответной системы;

4) разработка модели человеко-машинного диалога и проведение экспериментальных исследований по оцениванию соответствия характеристик вопросно-ответной системы особенностям её пользователей.

Методы исследования. В работе использованы методы теории вероятности, математической статистики, теоретический аппарат нейронных сетей и нечеткой логики, математический инструментарий вероятностно-временных графов, специализированные программные средства для выполнения вычислительных экспериментов по оцениванию характеристик диалоговых систем.

Достоверность результатов работы подтверждена корректностью применения математических моделей, результатами экспериментов по оцениванию характеристик функционирования диалоговых систем, отсутствием противоречий основным фактам теории и практики в области выполнения

вопросно-ответных функций системами автоматической обработки естественноязыковых данных.

В работе получены результаты, обладающие научной новизной:

1. Разработана оригинальная процедура оценивания характеристик диалоговой системы, которая отличается использованием классификации ответов, выдаваемых системой на вопросы пользователей. Применение процедуры позволяет вычислить значения частных показателей функционирования диалоговой системы с учетом количества выданных системой ответов, относящихся к различным видам в зависимости от содержания в них требуемой пользователям информации.

2. Разработан алгоритм оценивания характеристик функционирования диалоговой системы, который отличается применением нечеткого вывода, позволяющего вычислить обобщенный показатель выполнения системой вопросно-ответных функций.

3. Разработан алгоритм настройки параметров нечеткого вывода, выполняемого для оценивания характеристик функционирования диалоговой системы. Новизна алгоритма состоит в применении нейросетевой настройки при вычислении значений параметров функций принадлежности и индивидуальных выводов нечетких правил, используемых для оценивания характеристик функционирования диалоговой системы.

4. Разработана модель человеко-машинного диалога, которая отличается использованием математического аппарата вероятностно-временных графов для оценивания вероятности достижения цели диалога и его средней продолжительности с учетом характеристик вопросно-ответной системы и значений показателей, характеризующих особенности её пользователей. Применение модели позволяет оценить соответствие характеристик вопросно-ответной системы особенностям её пользователей.

Практическая значимость результатов исследования состоит в их применении при создании программных средств, позволяющих выполнять оценивание характеристик функционирования диалоговых систем. В рамках

работы получено свидетельство о государственной регистрации программы ЭВМ № 2020610377 «Модуль нечеткого вывода для поддержки принятия решений по выбору анализаторов больших массивов естественно-языковых данных», которое представлено в приложении Б. Код программы представлен в приложении В.

Результаты диссертационной работы внедрены на предприятии ООО «СКБ Информационные технологии», а также используются в образовательном процессе Белгородского государственного национального исследовательского университета, что подтверждено актами внедрения, представленными в приложении А.

Положения, выносимые на защиту:

1. Результаты вычислительных экспериментов, которые показали, что применение предлагаемых алгоритмов на основе нечеткого вывода с нейросетевой настройкой позволяет оценить обобщенный показатель выполнения диалоговой системой вопросно-ответных функций.

2. Результаты вычислительных экспериментов, которые показали, что применение предлагаемой модели человеко-машинного диалога позволяет повысить полноту учета аспектов функционирования вопросно-ответной системы и параметров, характеризующих особенности её пользователей.

Соответствие диссертации паспорту научной специальности. Диссертационная работа соответствует паспорту специальности 2.3.8. «Информатика и информационные процессы» по следующим областям исследования:

п. 1 «Разработка компьютерных методов и моделей описания, оценки и оптимизации информационных процессов и ресурсов, а также средств анализа и выявления закономерностей на основе обмена информацией пользователями и возможностей используемого программно-аппаратного обеспечения»;

п. 13 «Разработка и применение методов распознавания образов, кластерного анализа, нейро-сетевых и нечетких технологий, решающих правил, мягких вычислений при анализе разнородной информации в базах данных».

Апробация результатов диссертации. Материалы исследования докладывались и обсуждались на Второй международной конференции по математическому моделированию в прикладных науках - ICMMAS'19 (г. Белгород, 2019); Международной научно-практической конференции «Модели и методы повышения эффективности инновационных исследований» (г. Киров, 2022); Международной научно-практической конференции «Информационное обеспечение научно-технического прогресса: анализ проблем и поиск решений» (г. Пермь, 2022); Международной конференции «Partial Differential Equations and Related Topics - PDERT'22» (г. Белгород, 2022); IX Международной научно-технической конференции «Информационные технологии в науке, образовании и производстве - ИТН0П-2023» (г. Белгород, 2023).

Связь работы с научными направлениями, программами и проектами. Тематика работы соответствует приоритетному направлению развития науки, технологий и техники в Российской Федерации «Информационно-телекоммуникационные системы» (утверждено Указом Президента Российской Федерации от 07.07.2011 № 899). Работа выполнена в рамках проекта № 20-3790083 «Разработка моделей и алгоритмов для поддержки принятия решений о выборе интеллектуальных систем обработки естественно-языковой информации» при поддержке Федерального государственного бюджетного учреждения «Российский фонд фундаментальных исследований» (договор от 31.08.2020 г. № 20-37-90083\20).

Публикации. По теме исследования опубликовано 13 работ, в числе которых 5 статей в рецензируемых изданиях из перечня ВАК РФ, 3 публикации индексируются в международной базе Scopus, получено 1 свидетельство о государственной регистрации программы ЭВМ, 4 работы опубликованы в материалах научных конференций.

Личный вклад соискателя. Все основные научные результаты исследования получены автором самостоятельно или при его непосредственном участии.

Структура и объем диссертации. Работа состоит из введения, трех глав, заключения, списка литературы и трех приложений. Работа изложена на 144 страницах машинописного текста, включающего 17 таблиц, 47 рисунков и список литературы из 151 наименования.

ГЛАВА 1 АНАЛИЗ СОСТОЯНИЯ ИССЛЕДОВАНИЙ В ОБЛАСТИ ОЦЕНИВАНИЯ ХАРАКТЕРИСТИК ДИАЛОГОВЫХ СИСТЕМ

1.1 Общая характеристика диалоговых систем, их разновидностей и

особенностей функционирования

В настоящее время диалоговые системы находят широкое применение в различных сферах деятельности, давая возможности повышения удобства взаимодействия с компьютером, сокращения финансовых и временных затраты при выполнении многих прикладных задач [15]. Современные диалоговые системы являются виртуальными помощниками в сферах медицинского сопровождения, банковского обслуживания, обучения иностранным языкам [58]. Большое распространение такие приложения получают благодаря реализации в них речевого интерфейса [46].

Взаимодействующие с пользователем на естественном языке интеллектуальные диалоговые системы предоставляют услуги заказа и бронирования авиабилетов. Использование клиентами такого сервиса повышает удобство взаимодействия с информационными ресурсами, позволяет существенно сократить время на выполнение требуемого запроса [46].

Сегодня с помощью диалоговых систем можно не только забронировать авиарейс, вызвать такси, выбрать ресторан, но и повысить производительность обслуживания потока клиентов, предоставить удобный сервис взаимодействия для информирования о конкретном реализуемом продукте [52]. Применение чат-бота с речевым интерфейсом, работающего на основе обработки запроса на естественном языке, помогает пользователю в поиске товаров и услуг. При этом уточнение характеристик товаров или услуг осуществляется в процессе диалога, что позволяет значительно увеличить скорость и эффективность поиска [40].

Известны примеры использования интеллектуальных диалоговых систем для подбора и оценивания кандидатов на выполнение работ в конкретной профессиональной сфере. Реализация подобного цифрового рекрутинга

предполагает участие голосового чат-бота в проведении предварительного интервью с потенциальными работниками [30].

Диалоговые программные системы используются в целях автоматизации экспертно-аналитического оценивания продукции, конкурирующей на рынке. Такие разработки способствуют повышению адекватности принятия решений при выборе анализируемой продукции с учетом её качества [66].

Применение диалоговых систем предложено для формирования оперативной информации в комплексах средств автоматизации. Задействованная при этом формализованная информационная модель автоматизации рабочих мест позволяет сократить временные затраты труда операторов автоматизированных систем управления [6].

В целях противодействия компьютерным атакам в программную систему управления информационными рисками встроена вопросно-ответная система (Question-Answering System, QAS), получившая наименование QA-RiskPanel [44]. Эта система основана на знаниях и позволяет пользователю в диалоговом режиме анализировать возникающие риски, которые связаны с воздействием компьютерных атак [10].

Сферой применения диалоговых систем становится контактный центр, «основной деятельностью которого является обработка входящих обращений (телефонных звонков, текстовых сообщений в онлайн-чат и т.д.), либо осуществление исходящих звонков в целях информирования клиентов» [63, с. 2]. Такие голосовые агенты (чат-боты) способны обучаться во время диалогов с клиентами, учитывая при этом характерные особенности бизнеса.

Основанные на NLP-алгоритмах интерактивные веб-ориентированные диалоговые системы нашли применение в образовательной сфере [106]. Диалоговое общение, осуществляемое с помощью таких систем, рекомендуется для обучения устному и письменному иностранному языку [18]. Интеллектуальная диалоговая обучающая система, спроектированная с использованием онтологических моделей, интегрирована в архитектуру образовательного сервера [3].

Голосовые диалоговые системы активно применяются для предоставления пользователям различной справочной информации, например, помогают приехавшим на спортивное соревнование болельщикам узнать о программе турнира, достопримечательностях, транспортной логистике и т.п. [69].

Диалоговые системы активно применяются в сфере медицинских услуг [93; 115], в частности, используются в клиентской части автоматизированных программных продуктов «Check-Up-диагностики», с помощью которой выполняется взаимодействие с пациентом, осуществляется получение набора необходимых для обследования данных и выдача полученных результатов [43].

Известны примеры использования диалоговых систем для оказания юридических услуг, например, система DoNotPay [105] «позволяет на основе информации о дорожном штрафе составить рекомендацию к последующим действиям, необходимым чтобы его оспорить» [81, с. 105].

Диалоговые модули функционируют в экспертных системах, имеющихся, в частности, на транспортных и промысловых судах. Их использование помогает человеку-оператору осуществлять диалоговый поиск наилучших решений в различных проблемных ситуациях [24].

С помощью программных диалоговых средств предложено осуществлять анализ речевых сообщений, которыми обмениваются при длительных межпланетных полетах. Результаты этих исследований могут быть полезны в области пилотируемой космонавтики для разработки систем автоматического контроля за психологическим состоянием экипажа космического корабля [120].

Широкое применение диалоговые системы находят в робототехнической сфере. Без их использования немыслимо функционирование, так называемых социальных (сервисных) роботов [5; 7; 16; 25; 38; 57; 65; 82; 121].

Созданы говорящие человекоподобные роботы, способные общаться и выполнять домашнюю хозяйственную работу, осуществлять уход за пожилыми и недееспособными людьми [137]. Наличие «интеллектуального диалогового интерфейса, с помощью которого человек может давать команды роботу на естественном языке», упрощает человеко-машинное взаимодействие «в области

мобильных роботов, ухаживающих за людьми с ограниченными возможностями» [83, с. 28]. Функционально подобные модели предназначены «для оказания помощи в поиске вещей и передвижении, для поддержки беседы и развлечений» [31]. Социальные роботы с речевым интерфейсом могут использоваться в торговых центрах для выполнения следующих действий: установление контакта с посетителями путем вербального общения, информирование о товарах и их реклама, выдача рекомендаций по выбору товаров; помощь клиентам в поиске товаров в пространстве помещений [25].

Выполнены исследования по созданию инструментария для решения задач распознавания и понимания роботом неструктурированных потоков входных данных. Полученные результаты позволяют реализовать диалоговую систему на основе автоматической обработки естественно-языковых данных, применение которой ориентировано на выполнение роботом коммуникативных функций [56].

Предложена система управления «автономным мобильным сервисным роботом с использованием человеко-машинного диалога на естественном языке» [78, с. 206], основанная на многомодальном представлении характеристик пространства. Данное решение позволяет облегчить процесс взаимодействия с роботом и повысить безопасность его перемещений при выполнении сервисных функций.

В работе [80] выделены две разновидности современных диалоговых систем: целеориентированные системы и, так называемые, виртуальные собеседники. Первые предназначены «для решения конкретных заранее определенных задач пользователя, а виртуальные собеседники («болталки») необходимы для вовлечения пользователя в использование продукта с помощью имитации естественного разговора с ним» [80, с. 50]. Авторы исследования утверждают, что конструктивно в состав разговорных агентов, входят три основных элемента:

- блок понимания естественного языка;

- блок управления диалогом;

- блок синтеза ответа.

Важнейшей процедурой процесса функционирования диалоговых систем является анализ фразы в модуле обработки естественного языка [97]. При этом реплика пользователя преобразуется в соответствующее векторное представление [122]. Предварительными этапами обработки естественно-языковых данных являются «сегментация, токенизация, нормализация, синтаксический разбор, выделение именованных сущностей, разрешение анафоры и неоднозначности» [80, с. 50; 129]. Указанные выше этапы выполняются в процессе работы различных диалоговых агентов независимо от специфики решаемых ими задач.

По способу формирования ответов различают три типа диалоговых систем [81]. К первому типу относятся системы, основанные на правилах, в которых формирование ответа на запрос осуществляется с помощью предусмотренного заранее шаблона. Ко второму типу относятся системы, в которых ответы формируются путем выбора подходящего варианта из имеющегося списка. Третий тип составляют системы, функционирующие на основе порождающих моделей и не использующие составленный заранее перечень ответов. Для создания порождающих моделей применяются методы глубокого обучения, с помощью которых в последние годы удалось существенно улучшить качество машинного перевода.

При создании диалоговых систем часто используется модель «кодировщик-декодировщик» (sequence-to-sequence, seq2seq) [143], которая основана на работе рекуррентных нейронных сетей с долгой краткосрочной памятью (англ. Long short-term memory, LSTM) [112]. К основным недостаткам диалоговых моделей, базирующихся на использовании seq2seq, относятся проблемы в отслеживании контекста диалога и забывании начала длинной фразы [22; 81]. Стремление к устранению этих недостатков привело к изобретению механизма внимания [151]. С его использованием создана архитектура нейронных сетей, называемых трансформерами. В нейросети-трансформере механизм внимания реализован в виде дополнительного слоя нейронов, с помощью которого обеспечивается связь между входными и выходными сигналами на основе выбора релевантных фрагментов входной последовательности [114]. Усовершенствованная версия

трансформера именуется англоязычной аббревиатурой BERT (Bidirectional Encoder Representations from Transformers) [104]. Технология BERT предполагает использование трансформеров, предварительно обученных на огромных текстовых массивах.

Диалоговые системы способны работать в следующих режимах:

- в режиме диалога на свободную тему;

- в вопросно-ответном режиме;

- в целеориентированном режиме [53].

Наиболее совершенные виртуальные ассистенты осуществляют автоматический выбор режима в зависимости от особенностей диалога. В режиме диалога на свободную тему ассистент ориентирован на поддержание беседы. Такой разговор, как правило, не связан с достижением определенной цели. Вопросно-ответный режим направлен на поиск диалоговой системой точного ответа на вопрос, заданный человеком на естественном языке. В целеориентированном режиме виртуальный ассистент в процессе общения помогает решить человеку конкретные задачи.

Известным программным средством для разработки виртуальных ассистентов является платформа DeepPavlov, [102; 139] созданная с использованием библиотек TensorFlow [133] и Keras [124]. Преимуществами данной платформы являются «гибкость в части конфигурации диалоговых агентов, а также набор предобученных моделей для NLP-задач русского языка» [36, с. 31].

В работе [46] выделены следующие компоненты диалоговой системы:

- модуль преобразования входных данных;

- модуль понимания речи (естественного языка);

- модуль, выполняющий функции диспетчера диалогов;

- модуль генерирования ответов;

- модуль выдачи выходных сообщений.

В первом модуле выполняется преобразование речи в текстовые данных. В модуле понимания естественного языка из последовательности слов формируется

соответствующее семантическое представление. В модуле диспетчеризации диалогов осуществляется выполнение сеансом общения, формируется семантическое представление ответов. Подбор подходящих слов и синтаксической структуры выходного сообщения выполняется модулем генерирования ответов. Последний модуль служит для выдачи ответных сообщений пользователю.

Исследователи отмечают, что главной проблемой при разработке диалогового агента является «понимание системой разговорного языка при сохранении контекста диалога» [22, с. 82]. Для решения этой проблемы разработан алгоритм обучения диалоговой системы в режиме реального времени, позволяющий сохранить контекст диалога [68].

Для повышения релевантности реплик, выдаваемых диалоговой системой, основанной на использовании перечня ответов, создан алгоритм ранжирования выходных сообщений с учетом контекста запроса [11]. Использование языковых моделей, обученных на больших текстовых корпусах, позволяет в процессе функционирования диалоговых систем использовать обобщенные данные и средства дистрибутивной семантики [77].

Различают следующие типы управления диалогом [29]:

- управление на основе инициативы диалоговой системы;

- управление на основе инициативы пользователя;

- управление на основе комбинированной инициативы.

В целях повышения качества управления диалогом предложено использовать модели конечных автоматов и глубокой нейронной сети [29].

При построении диалоговых систем используются различные подходы и методы: динамическое представление графов знаний [59] и автоматическое формирование семантической модели базы данных [55], инструментарий ассоциативных векторных пространств [61] и метаграфовый подход для обработки базы знаний [12], построение препроцессора на основе ассоциативно -семантической обработки текста [60] и наполнение базы знаний системы на основе морфологического анализа текста [14], принятие решений на основе

Список литературы диссертационного исследования кандидат наук Игитян Елена Владимировна, 2023 год

СПИСОК ЛИТЕРАТУРЫ

1. Айдинян, А.Р. Методика оценки качества обучения студентов вуза с использованием нейро-нечеткого подхода / А.Р. Айдинян, О.Л. Цветкова // Программные продукты и системы. - 2016. - № 4. - С. 189-193.

2. Алгоритм поддержки принятия решений по выбору средств обработки больших массивов естественно-языковых данных / К.А. Польщиков, О. Н. Польщикова, Е. В. Игитян, М. С. Балакшин // Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. - 2019. - Т. 46.

- № 3. - С. 553-562.

3. Али, А.А. Проектирование интеллектуальной диалоговой обучающей системы на базе онтологий / А.А. Али, Х.К. Али // Вестник Технологического университета. - 2015. - Т. 18. - № 23. - С. 92-95.

4. Бессмертный, И.А. Естественно-языковой пользовательский интерфейс диалоговой системы / И.А. Бессмертный, Р.В. Посевкин // Программные продукты и системы. - 2016. - № 3. - С. 5-9.

5. Бодунков, Н.Е. Организация диалога социального автономного робота и человека / Н.Е. Бодунков, В.И. Глушанкова, Н.В. Ким // СТИН. - 2020. - № 2. - С. 17-20.

6. Боев, С.Ф. Методика построения диалоговой системы в средствах автоматизации управления на основе формализованной концептуальной информационной модели автоматизированных рабочих мест / С.Ф. Боев, А.В. Зюзин, П.А. Морозов // Информация и космос. - 2021. - № 4. - С. 46-54.

7. Буров, С. П. Методы анализа социального взаимодействия человека и робота / С. П. Буров // Гуманитарная информатика. - 2018. - № 14. - С. 18-26.

8. Быков, А. А. Исследование готовности к применению виртуальных помощников в образовательном процессе / А.А. Быков, О.М. Киселева // Современные наукоемкие технологии. - 2022. - № 3. - С. 110-114.

9. Вентцель, Е.С. Теория вероятностей / Е.С. Вентцель. - 10-е изд. стер.

- М.: Высшая школа, 2006. - 575 с.

10. Вопросно-ответная система для управления информационными рисками на основе теоретико-модельной формализации предметных областей / Г.Э. Яхъяева, А.А. Карманова, А.А. Ершов, Н.П. Савин // Информационные технологии. - 2017. - Т. 23. - № 2. - С. 97-106.

11. Гафуров, Н.Р. Контекстное ранжирование ответов по относительным метрикам в диалоговых системах помощи пользователям / Н.Р. Гафуров // Программные продукты и системы. - 2020. - № 2. - С. 276-282.

12. Гибридная интеллектуальная русскоязычная диалоговая информационная система на основе метаграфового подхода / Ю.Е. Гапанюк, А.В. Леонтьев, И.И. Латкин [и др.] // Динамика сложных систем - XXI век. - 2018. - Т. 12. - № 1. - С. 77-86.

13. Гостьева, О.В. Методика выбора IT-решений для автоматизации бизнес-процессов на предприятиях оборонно-промышленного комплекса / О.В. Гостьева // Известия Уральского государственного экономического университета. - 2015. -№5(61). - С. 101-109.

14. Гурин, Н.И. Морфологический анализ текста для генерации базы знаний диалоговой информационной системы / Н.И. Гурин, Я.А. Жук // Труды БГТУ. №6. Физико-математические науки и информатика. - 2016. - № 6(188). - С. 156-159.

15. Даутова, Л.Р. Обзор интеллектуальных диалоговых систем с интерфейсом на естественном языке / Л.Р. Даутова, А.Р. Нафикова // Colloquium-journal. - 2019. - № 1-5(25). - С. 24-25.

16. Диане, С.А.К. Обучение и социальная интеграция автономных роботов на основе применения современных когнитивных технологий / С.А.К. Диане // Философия науки и техники. - 2018. - Т. 23. - № 2. - С. 89-102.

17. Долженко, А.И. Нечеткие модель и алгоритм оценки качества веб-сервисов, интегрируемых в сервис-ориентированную архитектуру информационной системы / А.И. Долженко, И.Ю. Шполянская // Программные системы и вычислительные методы. - 2017. - № 2. - С. 22-31.

18. Доронкина, Н.Е. диалогическая речь в системах искусственного интеллекта в сфере образования / Н.Е. Доронкина, О.В. Ивасюк // Актуальные

научные исследования в современном мире. - 2019. -№ 3-4(47). - С. 54-59.

19. Дубинин, Е.Ф. Применение методов нечеткой логики для оценки эффективности диагностических систем / Е.Ф. Дубинин, В.И. Куксова // Проблемы безопасности и чрезвычайных ситуаций. - 2020. - № 2. - С. 24-34.

20. Дубинин, И.К. Оценка границ показателя качества сервисного обслуживания в нефтегазовой отрасли на основе нечетких множеств / И.К. Дубинин // Научный альманах. - 2016. - № 6-1(19). - С. 122-125.

21. Еникеев, А.И. Модели для разработки программных приложений на примере меню-диалоговой системы / А.И. Еникеев, Б.А.М. Махфуд // Научно-технический вестник Поволжья. - 2015. - № 1. - С. 78-84.

22. Жеребцова, Ю.А. Проблемы обработки естественного языка в диалоговых системах / Ю.А. Жеребцова, А.В. Чижик, Э.С. Клышинский // Системный администратор. - 2019. - № 10(203). - С. 82-91.

23. Жук, Я.А. Оценка эффективности работы генератора семантической сети диалоговой информационной системы / Я.А. Жук // Труды БГТУ. Серия 3: Физико-математические науки и информатика. - 2019. - № 1(218). - С. 75-78.

24. Зива, И.И. Оптимизация целевой функции и адаптация «человеческого элемента» в навигационных и промысловых диалоговых системах / И.И. Зива,

B.А. Ершов, В.И. Меньшиков // Вестник Астраханского государственного технического университета. Серия: Морская техника и технология. - 2016. - № 3. - С. 18-25.

25. Зильберман, Н.Н. Социальный робот в торговых центрах: первые результаты, основные вызовы и перспективы исследований / Н.Н. Зильберман // Гуманитарная информатика. - 2019. - № 16. - С. 34-40.

26. Игитян, Е.В. Анализ интеллектуальных диалоговых систем / Е.В. Игитян, И.К. Польщиков // Информационное обеспечение научно-технического прогресса: анализ проблем и поиск решений: Сборник статей Международной научно-практической конференции, Пермь, 25 июня 2022 года. -

C. 46-48.

27. Игитян, Е.В. Об оценивании эффективности интеллектульных диалоговых систем / Е.В. Игитян, Е.А. Мощенко, И.К. Польщиков // Модели и методы повышения эффективности инновационных исследований: сборник статей Международной научно-практической конференции, Киров, 05 июня 2022 года. -С. 23-25.

28. Игитян, Е.В. Оценивание вероятностно-временных характеристик человеко-машинного диалога на естественном языке / Е.В. Игитян, К.А. Польщиков, А.Н. Немцев // Экономика. Информатика. - 2023. - Т. 50. - № 1. С. 162-172.

29. Инь, Ш. Диалоговая система управления роботом на базе теории конечных автоматов / Ш. Инь, А. С. Ющенко // Мехатроника, автоматизация, управление. - 2019. - Т. 20. - № 11. - С. 686-695.

30. Калиновская, И.Н. Цифровой рекрутинг с использованием интеллектуальных диалоговых систем, построенных на принципах машинного обучения / И.Н. Калиновская // Цифровая трансформация. - 2021. - № 1. - С. 2434.

31. Кантарджян, С.Л. Экономические аспекты роботизации социальной сферы / С. Л. Кантарджян, Р. М. Погосян // Chronos: экономические науки. - 2021. - Т. 6. - № 3(31). - С. 10-17.

32. Князева, О.М. Комплексная оценка качества информационных систем на основе нечеткого когнитивного моделирования / О.М. Князева // Математические методы в технике и технологиях. - 2016. - № 1(83). - С. 117-122.

33. Корнилов, В.С. Оценка качества машинного перевода текста с использованием метода анализа нечетких дубликатов / В.С. Корнилов, В.М. Глушань, А.Ю. Лозовой // Известия ЮФУ. Технические науки. - 2017. - № 7(192). - С. 102-111.

34. Константинов, И.С. Нечеткая система для оценки эффективности управления информационным обменом сети корпоративных порталов / И.С. Константинов, С.А. Лазарев, К.А. Польщиков // Вестник компьютерных и информационных технологий. - 2016. - № 9(147). - С. 42-47.

35. Коханова, В.С. Аппарат нечеткой логики как инструмент оценки эффективности цифровизации компании / В.С. Коханова // Вестник университета. - 2021. - № 2. - С. 36-41.

36. Кучерук, А.А. Применение нейросетевых технологий для разработки чат-ботов и диалоговых систем / А.А. Кучерук // Безопасность. Управление. Искусственный интеллект. - 2022. - Т. 1. - № 1(1). - С. 28-34.

37. Леоненков, А.В. Нечеткое моделирование в среде МАТЬАВ и ^уТЕСН / А.В. Леоненков. - СПб: БХВ-Петербург, 2003. - 736 с.

38. Лэйтан, К. Социальные роботы / К. Лэйтан, Д. Лин // В мире науки. - 2020. - № 1-2. - С. 10-11.

39. Маннинг, К.Д. Введение в информационный поиск / К.Д. Маннинг, П. Рагхаван, Х. Шютце. - М.: Вильямс, 2011. - 528 с.

40. Маслова, М.А. Алгоритмы работы чат-бота для поиска товаров / М.А. Маслова, Д.А. Бажутова, А.С. Дмитриев // Инженерный вестник Дона. - 2021. - № 4(76). - С. 135-147.

41. Махди, Т.Н. Оценивание эффективности функционирования диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой / Т.Н. Махди, Е.В. Игитян, К.А. Польщиков, Н.И. Корсунов // Экономика. Информатика. - 2022. - Т. 49. - № 2. - С. 356-374.

42. Мельчук, И.А. Опыт теории лингвистических моделей «Смысл ^ Текст» / И.А. Мельчук. - М.: Языки русской культуры, 1999. - 346 с.

43. Мизюркина, О.И. Проектирование информационного хранилища для автоматизированной диалоговой системы медицинской диагностики / О.И. Мизюркина // Фундаментальные проблемы радиоэлектронного приборостроения. - 2016. - Т. 16. - № 5. - С. 220-222.

44. Михайлов В.Ю. Безопасное информационное взаимодействие. Проблемы и решения / В.Ю. Михайлов, В.Н. Гридин, Р.Б. Мазепа // Информационные технологии. - 2014. - № 10. - С. 72-77

45. Модель для оценки эффективности выполнения робототехнической системой коммуникативных функций / К.А. Польщиков, С.А. Лазарев,

И.С. Константинов, О.Н. Польщикова, Л.Ф. Свойкина, Е.В. Игитян, М.С. Балакшин // СТИН. - 2020. - № 6. - С. 4-7.

46. Модель интеллектуальной диалоговой системы для автоматизированного заказа билетов на основе семантического анализа / Ю.М. Монахов, Л. А. Артюшина, Е. О. Маков, М. Р. Исмаилова // Известия Института инженерной физики. - 2018. - № 3(49). - С. 77-81.

47. Низамов, А.А. Чат-боты для организации: возможности и реализация / А.А. Низамов // Интеллектуальный и научный потенциал XXI века: Материалы Международной (заочной) научно-практической конференции, Минск, 15 марта 2021 года. - Нефтекамск: Научно-издательский центр «Мир науки», 2021. - С. 4144.

48. Николаева, Г.Л. Цифровые помощники как инструмент оптимизации взаимодействия экономических агентов / Г.Л. Николаева, Р.Р. Тухбатов // Современные информационные технологии и ИТ-образование. - 2020. - Т. 16. -№ 1. - С. 246-257.

49. О применении интеллектуальных технологий обработки естественного языка и средств виртуальной реальности для поддержки принятия решений при подборе исполнителей проектов / Р.В. Агузумцян, А.С. Великанова, К.А. Польщиков, Е.В. Игитян, Р.В. Лихошерстов / Экономика. Информатика. -2021. - № 48 (2). - С. 392-404.

50. Оценивание эффективности функционирования диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой / Т.Н. Махди, Е.В. Игитян, К.А. Польщиков, Н.И. Корсунов // Экономика. Информатика. - 2022. - Т. 49. - № 2. - С. 356-374.

51. Отслеживание состояния целеориентированного диалога на основе БЕРТ / П.А. Гуляев, Е.А. Елистратова, В.П. Коновалов [и др.] // ТРУДЫ МФТИ. Труды Московского физико-технического института (национального исследовательского университета). - 2021. - Т. 13. - № 3(51). - С. 48-61.

52. Паршин, Г.К. Влияние диалоговых систем на качество обслуживания клиентов / Г.К. Паршин // Академическая публицистика. - 2018. - № 11. - С. 6266.

53. Персональный когнитивный ассистент: концепция и принципы работы / И.В. Смирнов, А.И. Панов, А.А. Скрынник, Е.В. Чистова // Информатика и ее применения. - 2019. - Т. 13. - № 3. - С. 105-113.

54. Повышение эффективности речевого интерфейса с применением когнитивных и лингвистических знаний / М.П. Фархадов, Н.В. Петухова, С.В. Васьковский, М.Э. Фархадова // Управление большими системами: сборник трудов. - 2019. - № 81. - С. 90-112.

55. Посевкин, Р.В. Метод автоматизированного формирования семантической модели базы данных диалоговой системы / Р.В. Посевкин // Программные продукты и системы. - 2018. - № 2. - С. 291-294.

56. Пшенокова, И.А. Имитационная модель функции распознавания и понимания статических объектов самообучающимся роботом на основе мультиагентных нейрокогнитивных архитектур / И.А. Пшенокова, О.В. Нагоева, З. А. Сундуков // Известия ЮФУ. Технические науки. - 2019. - № 1(203). - С. 7584.

57. Разработка сценариев «робот-ребенок» для социального робота / И.Ю. Проказина, О.В. Тертишная, А.А. Павлова [и др.] // Сборник избранных статей научной сессии ТУСУР. - 2019. - № 1-1. - С. 301-304.

58. Речевое взаимодействие между человеком и искусственным интеллектом посредством чат-ботов и умных устройств / Д.Б. Азина, П.А. Пьянкова, М.О. Козицына [и др.] // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 6: Языкознание. Реферативный журнал. - 2022. - № 1. - С. 54-65.

59. Романов, А.А. Диалоговая система на основе динамического представления графов знаний / А.А. Романов // Экономика: вчера, сегодня, завтра. - 2019. - Т. 9. - № 8-1. - С. 453-461.

60. Сачков, В.Е. Применение ассоциативно-семантического препроцессора в интерактивных диалоговых системах на естественном языке / В.Е. Сачков // Труды Института системного программирования РАН. - 2018. - Т. 30. - № 4. - С. 195-208.

61. Сачков, В.Е. Применение ассоциативных векторных пространств для создания интерактивно диалоговых систем / В.Е. Сачков // Актуальные вопросы науки. - 2018. - № 38. - С. 257-261.

62. Свидетельство о государственной регистрации программы ЭВМ № 2020610377. Российская Федерация. Модуль нечеткого вывода для поддержки принятия решений по выбору анализаторов больших массивов естественноязыковых данных / Польщиков К.А., Лазарев С.А., Польщикова О.Н., Игитян Е.В., Польщикова А.К. - заявл. 24.12.19, регистр. 13.01.2020.

63. Седойкина, А.А. Перспективы внедрения системы искусственного интеллекта для повышения эффективности бизнес-процессов в call-центре / А.А. Седойкина // Human Progress. - 2020. - Т. 6. - № 2. - С. 1-10.

64. Серебренников, Д.А. Разработка системы оценки чат-бота на основе графа поддерживаемых диалогов и возможности применения данного алгоритма / Д.А. Серебренников, А.Е. Быков, З.А. Воловикова // МНСК-2020: Материалы 58-й Международной научной студенческой конференции, Новосибирск, 10 апреля 2020 года. - Новосибирск: Новосибирский национальный исследовательский государственный университет, 2020. - С. 161.

65. Система интеграции социального робота и интерактивного web-приложения / Е.С. Полынцев, А.А. Климов, А.Е. Кодоров [и др.] // Сборник избранных статей научной сессии ТУСУР. - 2019. - № 1-1. - С. 299-301.

66. Скрыпникова, М.К. Основы построения и функциональные возможности диалоговой программной системы для автоматизированной экспертно-аналитической оценки качества конкурирующей продукции ДПС "ЭСАКП" / М.К. Скрыпникова // Качество. Инновации. Образование. -2021. - № 6(176). - С. 61-69.

67. Соловьев, В. ChatGPT - прорыв или хайп? / В. Соловьев // Открытые системы. СУБД. - 2023. - № 1. - С. 41-45.

68. Спирин, Д.В. Алгоритмы автоматизированного обучения диалоговых систем / Д.В. Спирин, О.С. Брежнев // Известия Юго-Западного государственного университета. - 2019. - Т. 23. - № 3. - С. 86-99.

69. Сравнительное исследование подходов к классификации текста для решения задачи определения адресата в рамках автоматической голосовой диалоговой системы / О.В. Ахтямов, Д.В. Дресвянский, Д.Ю. Мамонтов, Д.А. Скрипкина // Решетневские чтения. - 2016. - Т. 2. - С. 14-15.

70. Сравнительный анализ виртуальных ассистентов для разработки программ / Я.А. Федулов, А.М. Тычинская, В.А. Якушев, А.С. Федулова // Международный журнал информационных технологий и энергоэффективности. -2020. - Т. 5. - № 4(18). - С. 33-42.

71. Тимофеева, М.К. Языковые шкалы: направления современных исследований / М.К. Тимофеева // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. - 2019. -Т. 17. - № 3. - С. 5-17.

72. Титов, Н.А. Технология создания доменной базы знаний вопрос-ответной системы на основе крупномасштабной универсальной базы знаний / Н.А. Титов, С.В. Макрушин // Computational Nanotechnology. - 2022. - Т. 9. - № 1. - С. 115-124.

73. Тьюринг, А.М. Может ли машина мыслить? / А.М. Тьюринг. - М.: Государственное издательство физико-математической литературы, 1960. - 67 с.

74. Ураев, Д.А. Метрики для оценки качества чат-бот приложений / Д.А. Ураев // Наука, техника и образование. - 2019. - № 9(62). - С. 36-40.

75. Усков, А.А. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика / А.А. Усков, А.В. Кузьмин. - М.: Горячая линия - Телеком, 2004. - 143 с.

76. Фельдина, Е.А. Автоматическое построение дерева диалога по неразмеченным текстовым корпусам на русском языке / Е.А. Фельдина,

О.В. Махныткина // Научно-технический вестник информационных технологий, механики и оптики. - 2021. - Т. 21. - № 5. - С. 709-719.

77. Харламов, А.А. Дистрибутивная vs сетевая семантика в диалоговых системах / А.А. Харламов, Д.И. Гордеев // Проблемы искусственного интеллекта.

- 2019. - № 2(13). - С. 93-126.

78. Харламов, А.А. Речевой диалог с коллоборативным роботом на основе многомодальной семантики / А.А. Харламов, К.В. Ермишин // Вестник Московского государственного лингвистического университета. Гуманитарные науки. - 2016. - № 15(754).

79. Черноморова, Т. С. Классификация и принципы построения систем вопросно-ответного поиска / Т.С. Черноморова, С.П. Воробьев // Бюллетень науки и практики. - 2020. - Т. 6, № 8. - С. 145-156.

80. Чижик, А.В. Создание чат-бота: обзор архитектур и векторных представлений текста / А. В. Чижик, Ю. А. Жеребцова // International Journal of Open Information Technologies. - 2020. - Т. 8. - № 7. - С. 50-56.

81. Чистова, Е.В. Применение глубокого обучения к моделированию диалога на естественном языке / Е.В. Чистова, А.О. Шелманов, И.В. Смирнов // Труды Института системного анализа Российской академии наук.

- 2019. - Т. 69. - № 1. - С. 105-115.

82. Шабалин, И.Д. Разработка программного комплекса для социального робота, интегрированного с облачным хранилищем / И.Д. Шабалин, А.А. Согомонянц, Е.С. Шандаров // Сборник избранных статей научной сессии ТУСУР. - 2019. - № 1-1. - С. 305-307.

83. Шпаков, В.К. Гибридная интеллектуальная система управления мобильным роботом (ГИСУМР) / В.К. Шпаков // Сборник научных трудов Новосибирского государственного технического университета. - 2019. - № 2(95).

- С. 28-34.

84. Юсупов, И.Ф. Диалоговый агент с обучаемым диалоговым менеджером / И.Ф. Юсупов, Ю.М. Куратов // ТРУДЫ МФТИ. Труды Московского физико-

технического института (национального исследовательского университета). -2020. - Т. 12. - № 4(48). - С. 106-120.

85. Abu Daqar, M.A.M. The Role of Artificial Intelligence on Enhancing Customer Experience / M.A.M. Abu Daqar, A.K.A. Smoudy // International Review of Management and Marketing. - 2019. - 9(4). - Р. 22-31.

86. Assessing the Efficiency of Robot Communication / K.A. Polshchykov, S.A. Lazarev, I.S. Konstantinov, O.N. Polshchykova, L.F. Svoikina, E.V. Igityan, M.S. Balakshin // Russian Engineering Research. - 2020. - Vol. 40. - Р. 936-938.

87. Achieving Reliable Human Assessment of Open-Domain Dialogue Systems [Электронный ресурс] / Ji T., Graham Y., Jones G.J.F., Lyu C., Liu Q // arXiv. - 2022. - Режим доступа: https://doi.org/10.48550/arXiv.2203.05899 (дата обращения: 15.02.2023).

88. Ai, H. Assessing Dialog System User Simulation Evaluation Measures Using Human Judges / H. Ai, D.J. Litman // Proceedings of ACL-08, 2008. P. 622629.

89. A Network-based End-to-End Trainable Task-oriented Dialogue System [Электронный ресурс] / T.-H. Wen, D. Vandyke, N. Mrksic et al. // arXiv. - 2017. -Режим доступа: https://doi.org/10.48550/arXiv.1604.04562 (дата обращения: 15.02.2023).

90. A Survey on Conversational Recommender Systems / D. Jannach, A. Manzoor, W. Cai, L. Chen // ACM Computing Surveys. - 2021. - No. 54 (5). - Р. 136.

91. Assessing Dialogue Systems with Distribution Distances [Электронный ресурс] / J. Xiang, Y. Liu, D. Cai et al. // arXiv. - 2021. - Режим доступа: https://doi.org/10.48550/arXiv.2105.02573 (дата обращения: 15.02.2023).

92. Assessment of dialogue systems by means of a new simulation technique / R. Lоpez-Cоzar, A. De la Torre, J.C. Segura, A.J. Rubio // Speech Communication. -2003. - Vol. 40 - No.3. - P. 387-407.

93. Babylon [Электронный ресурс]. - Режим доступа: https://www.babylonhealth.com/ (дата обращения: 24.05.2022).

94. Baeza-Yatez, R. Modern Information Retrieval / R. Baeza-Yatez, B. Ribeiro-Neto. - New York: ACM Press, 1999. - 517 p.

95. Banerjee, S. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments / S. Banerjee, A. Lavie // Proceedings of the ACL workshop on intrinsic and extrinsic evaluation measures for machine translation and / or summarization. - 2005. - P. 65-72.

96. Balakrishnan, J. Conversational commerce: entering the next stage of AI-powered digital assistants / J. Balakrishnan, Y. K. Dwived // Annals of Operations Research. - 2021. - URL: https://doi.org/10.1007/s10479-021-04049-5 (accessed: 15.05.2022).

97. Bellegarda, J.R. Large-Scale Personal Assistant Technology Deployment: the Siri Experience / J.R. Bellegarda // INTERSPEECH. - 2013. - P. 2029-2033.

98. BLEU: A Method for Automatic Evaluation of Machine Translation / K. Papineni, S. Roukos, T. Ward, W.-J. Zhu // Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. - 2002. - Р. 311-318.

99. Can machines talk? Comparison of Eliza with modern dialogue systems / H. Shah, K. Warwick, J. Vallverdu, D. Wu // Computers in Human Behavior. - 2016. -No. 58. P. 278-295.

100. ConvAI3: Clarifying Questions for Open-Domain Dialogue Systems (ClariQ) [Электронный ресурс]. - Режим доступа: https://convai.io/ (дата обращения: 24.05.2022).

101. Conversational contextual cues: The case of personalization and history for response ranking [Электронный ресурс] / R. Al-Rfou, M. Pickett, J. Snaider // arXiv.org. - 2016. - Режим доступа: https://arxiv.org/abs/1606.00372.

102. DeepPavlov: Open-Source library for dialogue systems / M. Burtsev, A. Seliverstov, R. Airapetyan [et al.] // ACL 2018 - 56th Annual Meeting of the Association for Computational Linguistics, Proceedings of System Demonstrations: 56, Melbourne, VIC, 15-20 июля 2018 года. - Melbourne, VIC, 2015. - P. 122-127.

103. Deriu, J. Survey on evaluation methods for dialogue systems / J. Deriu, A. Rodrigo, A. Otegi // Artificial Intelligence Review. - 2021. - Vol. 54. - P. 755-810.

104. Devlin J. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Электронный ресурс] / J. Devlin, M.-W. Chang, K. Lee, K. Toutanova // arXiv.org. - 2018. - Режим доступа: https://arxiv.org/pdf/1810.04805v2.pdf (дата обращения: 24.05.2022).

105. Donotpay [Электронный ресурс]. - Режим доступа: https://donotpay.com/ (дата обращения: 24.05.2022).

106. Duolingo [Электронный ресурс]. - Режим доступа: http://bots.duolingo.com/ (дата обращения: 24.05.2022).

107. End-to-End latent-variable task-oriented dialogue system with exact log-likelihood optimization / H. Xu, H. Peng, H. Xie, E. Cambria // World Wide Web. - 2020. - Vol. 23. - Р. 1989-2002.

108. Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark / N. Dziri, H. Rashkin, T. Linzen, D. Reitter // Transactions of the Association for Computational Linguistics. - 2022. - Vol. 10. - P. 1066-1083.

109. Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems [Электронный ресурс] / J. Dodge, A. Gane, X. Zhang et al. // arXiv. - 2016. - Режим доступа: https://doi.org/10.48550/arXiv.1511.06931 (дата обращения: 15.02.2023)

110. Galley, M. deltaBLEU: A Discriminative Metric for Generation Tasks with Intrinsically Diverse Targets / M. Galley // Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers). - 2015. - Vol. 2. - P. 445-450.

111. ChatGPT на Русском: Чатбот от OpenAI [Электронный ресурс]. -Режим доступа: https://chat-gpt.org/ru (дата обращения: 06.04.2023).

112. Graves, A. Long Short-Term Memory / A. Graves // Supervised Sequence Labelling with Recurrent Neural Networks. Studies in Computational Intelligence. -2012. - Vol. 385. - P. 37-45.

113. GPT-4 is OpenAI's most advanced system, producing safer and more useful responses [Электронный ресурс]. - Режим доступа: https://openai.com/product/gpt-4 (дата обращения: 06.04.2023).

114. Hapke, H.M. Natural Language Processing in Action: Understanding, Analyzing, and Generating Text with Python / H.M. Hapke, C. Howard, H. Lane. -Manning: Shelter Island, 2019. - 512 p.

115. Healthtap [Электронный ресурс]. - Режим доступа: https://www.healthtap.com/ (дата обращения: 24.05.2022).

116. History-Adaption Knowledge Incorporation Mechanism for Multi-Turn Dialogue System / Y. Sun, Y. Hu, L. Xing, J. Yu, Y. Xie // Proceedings of the AAAI Conference on Artificial Intelligence. - 2020. - Vol. 34(05). - Р. 8944-8951.

117. How Human Communication Influences Virtual Personal Assistants / D. Bylieva, V. Lobatyuk, D. Kuznetsov, N. Anosova // Lecture Notes in Networks and Systems. - 2021. - No. 184. - Р. 98-111.

118. How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation / C.W. Liu, R. Lowe, I. V. Serban et al. // Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. - 2016. - P. 2122-2132.

119. Igityan, E. Models and Algorithms for Evaluating the Dialogue System Efficiency / E. Igityan, K. Polshchykov // Collection of materials of the International Conference «Partial Differential Equations and Related Topics (PDERT'22)». -Belgorod, 2022. - P. 156-159.

120. Interaction Quality in Human-Human Conversations: Problems and Possible Solutions / A.V. Spirina, A. Schmitt, E.S. Semenkin, W. Minker // Journal of Siberian Federal Universit. Mathematics and Physics. - 2015. - Vol. 8. -No 2. - P. 217-223.

121. Istenic, A. Pre-Service Teachers' Concerns about Social Robots in the Classroom: A Model for Development / A. Istenic, I. Bratko, V. Rosanda // Education and Self-Development. - 2021. - Vol. 16. - No 2. - P. 60-87.

122. Jurafsky, D. Title Speech and Language Processing: 2nd edition / D. Jurafsky, J.H. Martin. - Prentice Hall. - 2008. - 988 p.

123. Karaboga, D. Adaptive network based fuzzy inference system (ANFIS) training approaches: a comprehensive survey / D. Karaboga, E. Kaya // Artificial Intelligence Review. - 2019. - No. 52. - Р. 2263-2293.

124. Ketkar, N. Introduction to Keras / N. Ketkar // Deep Learning with Python. - 2017. - Р. 97-111.

125. Konstantinov, I. Model of Neuro-Fuzzy Prediction of Confirmation Timeout in a Mobile Ad Hoc Network / I. Konstantinov, K. Polshchykov, S. Lazarev, O. Polshchykova // CEUR Workshop Proceedings. Mathematical and Information Technologies. - 2017. - Vol. 1839. - PP. 174-186.

126. Lavie, A. METEOR: An automatic metric for MT evaluation with high levels of correlation with human judgments / A. Lavie, A. Agarwal // Proceedings of the second workshop on statistical machine translation. - 2007. - Р. 228-231.

127. Lebedzeva, Т. Chatbot Development: How to Build and Use Virtual Assistants to Improve Efficiency and Save Money [Электронный ресурс] / Т. Lebedzeva // ScinceSoft. - Режим доступа: https://www.scnsoft.com/ blog/chatbot-development (дата обращения: 24.05.2022).

128. Lin, T.-E. A post-processing method for detecting unknown intent of dialogue system via pre-trained deep neural network classifier / T.-E. Lin, H. Xu. // Knowledge-Based Systems. - 2019. - Vol. 186. - 104979.

129. Masche, J. A Review of Technologies for Conversational Systems / J. Masche, N.-T. Le // Conference Paper in Advances in Intelligent Systems and Computing. - 2018. - P. 212-225.

130. Mauldin, M.L. Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition / M.L. Mauldin //AAAI. - 1994. - Vol. 94. - P. 16-21.

131. Multi-domain Neural Network Language Generation for Spoken Dialogue Systems [Электронный ресурс] / T.-H. Wen, M. Gasic, N. Mrksic et al. // arXiv. -2016. - Режим доступа: https://doi.org/10.48550/arXiv.1603.01232 (дата обращения: 15.02.2023).

132. On Evaluating and Comparing Conversational Agents [Электронный ресурс] / A. Venkatesh, C. Khatri, A. Ram et al. - 2018. - Режим доступа:

https://assets.amazon.science/56/82/4385d9b74a73b9d23dd49bcdefcb/on-evaluatin g-and-comparing-conversational-agents.pdf (дата обращения: 24.05.2022).

133. Pang, B. Deep Learning With TensorFlow: A Review / B. Pang, E. Nijkamp, Y.N. Wu // Journal of Educational and Behavioral Statistics. - 2020. -Vol. 45(2). - Р. 227-248.

134. Polshchykov, K. Evaluating the effectiveness of text analyzers / K. Polshchykov, E. Igityan // Proceedings of the 2nd International Conference on Mathematical Modelling in Applied Sciences, (ICMMAS'19). - Belgorod, 2019. - P. 97-98.

135. Polshchykov, K.O. Neuro-Fuzzy Control of Data Sending in a Mobile Ad Hoc Network / K.O. Polshchykov, S.A. Lazarev, A.D. Zdorovtsov // Journal of Fundamental and Applied Sciences. - 2017. - Vol. 9(2S). - Р. 1494-1501.

136. Polshchykov, K.A. Neural network natural language processing tools for identifying personal priorities in the project performers selection in the field of smart agriculture / K.A. Polshchykov, A.S. Velikanova, E.V. Igityan // IOP Conference Series: Earth and Environmental Science. - 2022. - Vol. 1069. - 012012.

137. Project Aiko [Электронный ресурс]. - Режим доступа: http://projectaiko.com/ (дата обращения: 24.05.2022).

138. Ram, A. Conversational AI: The science behind the Alexa Prize / A. Ram // preprint arXiv:1801. - 2018. - 03604.

139. Sattarov, O. Natural language processing with deeppavlov library and additional semantic features / O. Sattarov // Lecture Notes in Computer Science. - 2019. - Vol. 11866 LNAI. - P. 146-159.

140. Serban, I.V. Hierarchical neural network generative models for movie dialogues [Электронный ресурс] / I.V. Serban // arXiv.org. - 2015. - Vol. 7, No. 8. -Режим доступа: https://arxiv.org/pdf/1507.04808v1.pdf (дата обращения: 24.05.2022).

141. Semantically Conditioned LSTM-based Natural Language Generation for Spoken Dialogue Systems [Электронный ресурс] / T.-H. Wen, M. Gasic, N. Mrksic et

al. // arXiv. - 2015. - Режим доступа: https://doi.org/10.48550/arXiv.1508.01745 (дата обращения: 15.02.2023).

142. Survey on Evaluation Methods for Dialogue Systems [Электронный ресурс] / J. Dariu, A. Rodrigo, A. Otegi // arXiv.org. - 2019. - Режим доступа: https://arxiv.org/pdf/1905.04071.pdf (дата обращения: 24.05.2022).

143. Sutskever, I. Sequence to sequence learning with neural networks / I. Sutskever, O. Vinyals, Q.V. Le //Advances in neural information processing systems. - 2014. - P. 3104-3112.

144. Takagi, T. Fuzzy Identification of Systems and Its Applications to Modeling and Control / T. Takagi, M. Sugeno // IEEE Transactions on Systems, Man, and Cybernetics. - 1985. Vol. 15. - Р. 116-132.

145. The Algorithm for Decision-Making Supporting on the Selection of Processing Means for Big Arrays of Natural Language Data / K. Polshchykov, S. Lazarev, O. Polshchykova, E. Igityan // Lobachevskii Journal of Mathematics. -2019. - Vol. 40(11). - Р. 1831-1836.

146. Theoretical aspects of evaluation of the corporative portal network traffic management / I.S. Konstantinov, S.A. Lazarev, K.O. Polshchykov, O.V. Mihalev // International Journal of Applied Engineering Research. - 2015. - Vol. 10(24). -Р. 45691-45696.

147. The use of virtual reality and fuzzy neural network tools to identify the focus on achieving project results. Journal of Physics: Conference Series / A.S. Velikanova, K.A. Polshchykov, R.V. Likhosherstov, A.K. Polshchykova // 2nd International Scientific Conference on Artificial Intelligence and Digital Technologies in Technical Systems, Volgograd, 2021. - Vol. 2060. - 173707.

148. Transferable Dialogue Systems and User Simulators [Электронный ресурс] / B.-H. Tseng, Y. Dai, F. Kreyssig, B. Byrne // arXiv. - 2021. - Режим доступа: https://doi.org/10.48550/arXiv.2107.11904 (дата обращения: 15.02.2023).

149. Tulshan, A.S. Survey on Virtual Assistant: Google Assistant, Siri, Cortana, Alexa / A.S. Tulshan, S.N. Dhage // Communications in Computer and Information Science. - 2019. - Vol. 968. - Р. 190-201.

150. Using intelligent personal assistants to assist the elderlies an evaluation of Amazon Alexa, Google Assistant, Microsoft Cortana, and Apple Siri / A. Reis, D. Paulino, H. Paredes, I. Barroso, M.J. Monteiro, V. Rodrigues // 2-nd International Conference on Technology and Innovation in Sports, Health and Wellbeing (TISHW). -2018. - Р. 1-5.

151. Vaswani, A. Attention Is All You Need [Электронный ресурс] / A. Vaswani, N. Shazeer, N. Parmar // arXiv.org. - 2017. - Режим доступа: https://arxiv.org/pdf/1706.03762.pdf (дата обращения: 24.05.2022).

ПРИЛОЖЕНИЕ А

Акты внедрения результатов диссертаций

АКТ

о внедрении результатов диссертационной работы Игитян Елены Владимировны «Разработка алгоритмов оценивания характеристик диалоговой системы на основе применения нечеткого вывода с нейросетевой настройкой» на соискание ученой степени кандидата технических наук

Разработанный в диссертационной работе Игитян Е.В. алгоритм оценивания характеристик функционирования диалоговой системы был использован ООО «СКБ Информационные технологии» при проектировании архитектуры и создании программного обеспечения геосоциальной сети Уои01с1 (https://yougid.ru).

Результаты, полученные на основе применения указанного алгоритма, позволили усовершенствовать процесс разработки диалоговой системы за счет повышения обоснованности принимаемых решений о качестве ее функционирования.

Директор ООО СКЕ

05.06.2023 г.

opä по образовательной Йта<<БелГУ»

. Черницов 2023 г.

о внедрении результатов диссертационной работы Игитян Елены Владимировны «Разработка алгоритмов оценивания характеристик диалоговой системы на основе

применения нечеткого вывода с нейросетевой настройкой» в учебный процесс федерального государственного автономного образовательного учреждения высшего образования «Белгородский государственный национальный

исследовательский университет»

Комиссия в составе заведующего кафедрой информационных и робототехнических систем д.т.н., профессора Иващук O.A., доцента кафедры информационных и робототехнических систем к.э.н. Лазарева С.А., доцента кафедры прикладной информатики и информационных технологий к.т.н., доцента Маматова Е.М. составила настоящий акт о том, что результаты, полученные в диссертационной работе Игитян Е.В., внедрены в учебный процесс НИУ «БелГУ».

Модели и алгоритмы оценивания характеристик функционирования диалоговых систем используются в качестве теоретической базы в научных исследованиях магистрантов, обучающихся по направлению подготовки 09.04.02 «Информационные системы и технологии». Разработанная модель человеко-машинного диалога используется при выполнении цикла лабораторных работ по дисциплине «Организация ЭВМ и систем» для подготовки бакалавров по направлению подготовки 27.03.03 «Системный анализ и управление».

Заведующий кафедрой информационных и робототехнических систем д.т.н., профессор

Доцент кафедры прикладной информационных

и робототехнических систем

к.э.н.

Доцент кафедры прикладной информатики и информационных технологий к.т.н., доцент

^/f

O.A. Иващук

С.А. Лазарев

Е.М. Маматов

127

ПРИЛОЖЕНИЕ Б Свидетельство о государственной регистрации программы для ЭВМ

РОССИЙСКАЯ ФЕДЕРАЦИЯ

RU2020610377

ФЕДЕРАЛЬНАЯ СЛУЖБА ПОИНТЕЛЛЕКТУАЛЬНОЙ СОБСТВЕННОСТИ

ГОСУДАРСТВЕННАЯ РЕГИСТРАЦИЯ ПРОГРАММЫ ДЛЯ ЭВМ

Номер регистрации (свидетельства):

Автор(ы):

Полыциков Константин Александрович (1Ш), Лазарев Сергей Александрович (Ки), Полыцикова Ольга Николаевна (ИА), Игитян Елена Владимировна (1Ш), Полыцикова Алиса Константиновна (ЦТА)

2020610377 Дата регистрации: 13.01.2020 Номер и дата поступления заявки:

2019667174 24.12.2019

Дата публикации и номер бюллетеня:

13.01.2020 Бюл. №1

Правообладатель(и):

Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В.Ломоносова» (МГУ) (1Ш)

Контактные реквизиты: Патентный поверенный РФ №2102 Моськина А.Е. 8-965-328-91-57

Название программы для ЭВМ:

Модуль нечеткого вывода для поддержки принятия решений по выбору анализаторов больших массивов естественно языковых данных

Реферат:

Программа предназначена для оценки эффективности анализаторов естественно-языковых текстов. Область применения - поддержка принятия решений по выбору средств обработки и анализа больших естественно языковых массивов для принятия управляющих решений. Программа ЭВМ позволяет осуществлять оценку эффективности анализаторов естественно-языковых текстов. Функционирование программы основано на использовании системы нечеткого выбора, служащей для расчета интегрального показателя эффективности анализатора текста. При оценке эффективности анализаторов текста учитываются качество и оперативность получения ответов на тестовые вопросы. Тип ЭВМ: IBM РС-совмест. ПК. ОС: Windows Professional.

Язык программирования: C++

Объем программы для ЭВМ: 25 Кб

Стр.: 1

128

ПРИЛОЖЕНИЕ В Программный код компьютерной программы «Модуль нечеткого вывода для поддержки принятия решений по выбору анализаторов больших массивов естественно-языковых данных»

Main file

ert main.c

1 /*

2 * File: ert_main.c

3 *

4 * Code generated for Simulink model 'sysl'.

5 *

6 * Model version : 1.4

7 * Simulink Coder version : 9.0 (R2018b) 24-May-2018

8 * C/C++ source code generated on : Wed Sep 25 15:26:28 2019

9 *

10 * Target selection: ert.tlc

11 * Embedded hardware selection: Intel->x86-64 (Windows64)

12 * Code generation objectives:

13 * 1. Execution efficiency

14 * 2. RAM efficiency

15 * Validation result: Not run

16 */

17

18 #include <stddef.h>

19 #include <stdio.h> /* This ert_main.c example uses printf/fflush */

20 #include "sysl.h" /* Model's header file */

21 #include "rtwtypes.h"

22

23 /*

24 * Associating rt_OneStep with a real-time clock or interrupt service routine

25 * is what makes the generated code "real-time". The function rt_OneStep is

26 * always associated with the base rate of the model. Subrates are managed

27 * by the base rate from inside the generated code. Enabling/disabling

28 * interrupts and floating point context switches are target specific. This

29 * example code indicates where these should take place relative to executing

30 * the generated code step function. Overrun behavior should be tailored to

31 * your application needs. This example simply sets an error status in the

32 * real-time model and returns from rt_OneStep.

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

*/

void rt_OneStep(void);

void rt_OneStep(void) {

static boolean_T OverrunFlag = false;

/* Disable interrupts here */

/* Check for overrun */ if (OverrunFlag) { rtmSetErrorStatus(rtM, "Overrun"); return;

}

OverrunFlag = true;

/* Save FPU context here (if necessary) */ /* Re-enable timer or interrupt here */ /* Set model inputs here */

/* Step the model */ sys1_step();

/* Get model outputs here */

/* Indicate task complete */ OverrunFlag = false;

/* Disable interrupts here */

/* Restore FPU context here (if necessary) */

/* Enable interrupts here */

}

/*

* The example "main" function illustrates what is required by your

* application code to initialize, execute, and terminate the generated code.

* Attaching rt_OneStep to a real-time clock is target specific. This example

* illustrates how you do this relative to initializing the model.

*/

int_T main(int_T argc, const char *argv[]) {

/* Unused arguments */

75 (void)(argc);

76 (void)(argv);

77

78 /* Initialize model */

79 sys1_initialize();

80

81 /* Attach rt_OneStep to a timer or interrupt service routine with

82 * period 2.0 seconds (the model's base sample time) here. The

83 * call syntax for rt_OneStep is

84 *

85 * rt_OneStep();

86 */

87 printf("Warning: The simulation will run forever. "

88 "Generated ERT main won't simulate model step behavior. "

89 "To change this behavior select the 'MAT-file logging' option.\n");

90 fflush((NULL));

91 while (rtmGetErrorStatus(rtM) == (NULL)) {

92 /* Perform other application tasks here */

93 }

94

95 /* Disable rt_OneStep() here */

96 return 0;

97 }

98

99 /*

100 * File trailer for generated code.

101 *

102 * [EOF]

103 */

104

Model files

sys1.c

1 /*

2 * File: sys1.c

3 *

4 * Code generated for Simulink model 'sys1'.

5 *

6 * Model version : 1.4

7 * Simulink Coder version : 9.0 (R2018b) 24-May-2018

8 * C/C++ source code generated on : Wed Sep 25 15:26:28 2019

9 *

10 * Target selection: ert.tlc

11 * Embedded hardware selection: Intel->x86-64 (Windows64)

12 * Code generation objectives:

13 * 1. Execution efficiency

14 * 2. RAM efficiency

15 * Validation result: Not run

16 */

17

18 #include "sysl.h"

19

20 /* Block signals and states (default storage) */

21 DW rtDW;

22

23 /* Real-time model */

24 RT_MODEL rtM_;

25 RT_MODEL * const rtM = &rtM_;

26

27 /* Model step function */

28 void sys1_step(void)

29 {

30 /* SignalConversion: '<S1>/TmpSignal ConversionAtAnimation1Inport1' */

31 rtDW.TmpSignalConversionAtAnimation1[0] = rtConstB.CalcQ;

32 rtDW.TmpSignalConversionAtAnimation1[1] = rtConstB.CalcD;

33 }

34

35 /* Model initialize function */

36 void sys1_initialize(void)

37 {

38 /* (no initialization code required) */

39 }

40

41 /*

42 * File trailer for generated code.

43 *

44 * [EOF]

45 */

46

sys1.h

1 /*

2 * File: sys1.h

3 *

4 * Code generated for Simulink model 'sys1'.

5 *

6 * Model version : 1.4

7 * Simulink Coder version : 9.0 (R2018b) 24-May-2018