Лингвистический интерфейс с эмоциональным анализом текста в компьютерных системах тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Аббаси Мохсин Маншад
- Специальность ВАК РФ00.00.00
- Количество страниц 122
Оглавление диссертации кандидат наук Аббаси Мохсин Маншад
ВВЕДЕНИЕ
ГЛАВА 1. Исследование современных систем и изучение их механизмов использования анализа текста для взаимодействия человека с машиной
1.1 Современные системы для анализа эмоциональных характеристик текста
1.1.1 Программа Power BI
1.1.2 Программа Tableau
1.1.3 Программа Qemotion
1.1.4 Программа MoodPatrol API
ВЫВОДЫ ПО ГЛАВЕ
ГЛАВА 2. Механизмы для подготовки текста перед его анализом для создания лингвистического человеко-машинного интерфейса
2.1 Лингвистический человеко-машинный интерфейс для предварительной обработки текста
2.2 Влияние алгоритма предварительной обработки на текст
2.3 Применение T-теста к тексту с предварительной обработкой и без нее
ВЫВОДЫ ПО ГЛАВЕ
ГЛАВА 3. Создание алгоритма и программы для идентификации эмоциональных характеристик русскоязычного текста
3.1 Описание этапов работы алгоритма Emostemmer:
3.2 Эксперимент и сравнение производительности методов
3.3 Отрицания и их влияние на эмоциональную полярность текста
ВЫВОДЫ ПО ГЛАВЕ
ГЛАВА 4. Анализ эмоциональных и психолингвистических характеристик текста, созданного при общении человека с машиной
4.1 Логические характеристики эмоций в тексте
4.1.1 Определение модальностей
4.2 Синтаксические характеристики эмоций в тексте
4.3 Анализ сложной природы эмоций и отношений между ними
4.3.1 Методология для анализа эмоций
4.3.2 Эксперимент и результаты
4.3.3 Определение взаимосвязи между темой текста и эмоциями в нем
4.4 Характеристики экстравертного типа личности
4.5 Характеристики интровертного типа личности
4.6 Идентификация типа текста
4.7 Методология и результаты
ВЫВОДЫ ПО ГЛАВЕ
ГЛАВА 5. Обобщение эмоциональных характеристик, выделенных из текста, созданного при общении человека с машиной
5.1 Обобщенные исследования
5.2 Кластеризация как механизм классификации эмоций в группах
5.2.1 Время выполнения алгоритма кластеризации
ВЫВОДЫ ПО ГЛАВЕ
ЗАКЛЮЧЕНИЕ
Основные результаты и выводы
Рекомендации
СПИСОК ЛИТЕРАТУРЫ
ПРИЛОЖЕНИЯ
Фрагмент кода информации о сборке
Фрагмент программного кода
РИСУНКИ
Рисунок 0-1 - Системная диаграмма для лингвистического человеко-машинного
интерфейса
Рисунок 1 -1 - Доступные системы, используемые для анализа эмоций из текста
Рисунок 2-1 - Лингвистический человеко-машинный интерфейс
Рисунок 2-2 - Вид интерфейса после применения предварительной обработки
текста
Рисунок 2-3 - Программный компонент лингвистического человеко-машинного
интерфейса для предварительной обработки текста
Рисунок 3-1 Матрица ошибок для Emostemmer и RuSentiLex
Рисунок 3-2 Сравнение времени выполнения RuSentiLex и Emostemmer
Рисунок 4-1 - Логические отношения между разными эмоциями
Рисунок 4-2 - Эмоции выраженные в теме: «Интернет-магазин безопасен или
небезопасен?»
Рисунок 4-3 - эмоции на тему: «Значение религии для общества?»
Рисунок 4-4 - Процесс классификации текста на экстравертный или
интровертный тип личности автора
Рисунок 5-1 - Колесо эмоций или Теория эмоций Плутчика [90]
Рисунок 5-2 - Время выполнения алгоритмов анализа текста
Рисунок 0-1 - Код GUI при запуске программы лингвистического человеко-
машинного интерфейса
Рисунок 0-2 - Загрузка файла в текстовом формате или формате Excel в
лингвистический интерфейс для предварительной обработки текста
Рисунок 0-3 - Код Emostemmer для идентификации эмоций, извлеченных из
текста
Рисунок 0-4 - Применение кластеризации для разделения эмоций на разные группы
Рисунок 0-5 - Сравнения различных алгоритмов кластеризации и построения
графика между ними
Рисунок 0-6 - Применение машинного обучения
ТАБЛИЦЫ
Таблица 2.1 - Влияние алгоритма предварительной обработки на различные
компоненты текста
Таблица 2.2 - Результаты Т-теста в двух группах
Таблица 3.1 - Слова, которые представляют эмоции и их склонения
Таблица 3.2 - Эмоциограммы для выявления соответствующих эмоций из текста
Таблица 3.3 Матрица ошибок для Emostemmer и RuSentiLex
Таблица 4.1 - Наиболее часто встречающиеся положительные и отрицательные
эмоции в тексте
Таблица 4.2 - Теория эмоций Паррота
Таблица 4.3 - Интенсивность эмоций в тексте по теории эмоций Парротта
Таблица 4.4 - Эмоции выраженные в теме: «Интернет-магазин безопасен или
небезопасен?»
Таблица 4.5 - Эмоции на тему: «Значение религии для общества»
Таблица 4.6 - Характеристики типа личности, общие фразы и их слова,
используемые экстравертом при общении
Таблица 4.7 - Характеристики типа личности, общие фразы и их слова,
используемые интровертом при общении
Таблица 4.8 - Характеристики экстраверта и интроверта и их слова, фразы,
используемые в общении
Таблица 5.1 - Время выполнения различных алгоритмов для анализа текста
Таблица 5.2 - Процент данных в разных кластерах
Таблица 5.3 - Стандартные отклонения в кластере
Используемые сокращения и условные обозначения
ЭЭГ- Электроэнцефалограммы
ЭКГ - Сигналы электрокардиограммы
SVM- Support Vector Machine
MLE- Maximum Likelihood Estimation
df - Degree of freedom
+ve - Positive
-ve - Negative
DMSM- Delone Mclean Success Model
MMI- Man Machine Interaction
BCPL - Basic Combined Programming Language
Рекомендованный список диссертаций по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Прагматические маркеры русской устной речи: корреляция с психотипом говорящего2022 год, кандидат наук Горбунова Дарья Александровна
Моделирование эмоциональных реакций пользователя при речевом взаимодействии с автоматизированной системой2009 год, кандидат технических наук Розалиев, Владимир Леонидович
Языковая репрезентация эмоций: уровни, функционирование и системы исследований: На материале русского языка2004 год, доктор филологических наук Романов, Дмитрий Анатольевич
Построение алгоритмов реализации человеко-машинных речевых интерфейсов2007 год, кандидат физико-математических наук Коршаков, Алексей Вячеславович
Метод генерации ответно-вопросных реплик с учетом особенностей письменной речи пользователя2025 год, кандидат наук Матвеева Анастасия Андреевна
Введение диссертации (часть автореферата) на тему «Лингвистический интерфейс с эмоциональным анализом текста в компьютерных системах»
ВВЕДЕНИЕ
Актуальность темы исследования. Человеко-машинное взаимодействие приобрело популярность за последнее десятилетие и находит применение в различных областях техники. Для обеспечения простоты взаимодействия и облегчения данного процесса, необходим интерфейс между человеком и машинной. Интерфейс принимает информацию от человека, пересылает ее машине и аналогичным образом передает ответ машины человеку. Информация для взаимодействия человека и машины представлена в различных формах, таких как текст, аудио и видеосигналы, биомедицинские сигналы и т.д.
В данной работе основное внимание уделяется взаимодействию человека и машины с помощью текста. Для такого взаимодействия требуется лингвистический интерфейс, который может облегчить языковое общение между человеком и машиной. Текст имеет различные характеристики: синтаксические, семантические, структурные и эмоциональные. Машина, получив текст через лингвистический интерфейс, анализирует его эмоциональную ориентацию и отвечает оппоненту, основываясь на этой характеристике. В качестве основного источника текста для анализа его эмоциональной составляющей выбран Интернет.
Основным источником информации в Интернете являются приложения для социальных сетей, где люди делятся своими повседневными событиями, фотографиями, эмоциями и т.д.
Для анализа данных в виде текста из Интернета были предложены различные методологии. Создан ряд систем для выявления и анализа эмоций из текста. Каждая система имеет определенный механизм, который анализирует конкретный аспект эмоций и, как правило, зависит от языка или платформы, на которой эта система расположена.
Сегодня основные системы лингвистического интерфейса, доступные онлайн, созданы для коммерческих целей, для анализа текста и определения мнений клиентов и отзывов о продукте или услуге. Такие системы широко
используются в интернет-магазинах, таких как: AliExpress, Amazon, Skyscanner, Booking и т.д. Самый лёгкий способ оставить отзыв на что-то - просто ответить на заданные вопросы. Такая система может представлять мнение людей в широком масштабе, но для более подробного анализа этого недостаточно. Компаниям интересно выяснить как положительные, так и отрицательные характеристики своих продуктов и услуг.
Таким образом, выявилась потребность в создании гибкой платформы, которая может изучать эмоции, извлеченные из текста и повышать точность результатов. Данная исследовательская работа сосредоточена на разработке системы, которая в состоянии подробно анализировать характеристики эмоций, выделенных из текста.
Кроме этого, система имеет механизм, улучшающий взаимодействие человека и машины путем определения психолингвистических характеристик текста, которые представляют поведение человека.
Для проведения анализа и экспериментов выбраны эмоции, которые были выделены известными философами и исследователями в их работах, таких как Теория эмоций Плутчика и Теория эмоций Паррота. Работы К. Изарда и А.Н. Леонтьева, П. Зарубина, они также изучались и использовались в экспериментах с русским текстом.
Лингвистический интерфейс, созданный в ходе исследования, способен удовлетворить будущие потребности искусственного интеллекта в создании полностью независимой системы, способной общаться с людьми через текст. Предлагаемый интерфейс ориентирован на текст, написанный на русском языке. Выбор русского языка сделан с учетом исследований и достижений российских ученых в области искусственного интеллекта с обработкой естественного языка. Основным продуктом исследования является алгоритм Emostemmer, первый в своем роде, который может обрабатывать и определять эмоциональную ориентацию текста с помощью небольшого словаря за очень короткое время по сравнению с системами, которые уже используются для русскоязычного текста. Также вновь разработанная система использовалась на экспериментальной
основе для изучения психолингвистических характеристик текста наряду с его эмоциональной ориентацией для подготовки ответа на текст или ответа человеку при работе человеко-машинного интерфейса. Такие алгоритмы, как машина опорных векторов и алгоритм кластеризации, использовались для изучения эмоциональных свойств текста.
Взаимосвязь текста с его темой и зависимости, существующие между различными эмоциями и их влияние на общую полярность текста, являются частью этого исследования. Подробно исследование представлено в следующих главах.
Степень разработанности исследования. Системы, разработанные для анализа текста и эмоций, извлеченных из него, были изучены в работах Ф. Стоуна, Дж. Вибе, П. Терни и В. Хатзивассилоглу, Х. Майкла, М. Либмана и Д. Неймана, С. Вой Лианг, В. Дж. Лонг, С.П. Чанн и C.H. Шо, Б. Батринка, Ф.С. Каплана, Д. Дж. Чжао, Л. Донга, Дж. Ву и К. Сюй, М. Баутина, Л. Виджайрену, С. Патель, Н. Гардинер, Д. Тану.
Проблемы идентификации эмоций и их полярности в тексте изучали в своих работах Панг, Ал. Денеке, А. Ермаков, Т. Загибалов, Дж. Штейнбергер, И. Четвёркин и Н.В Лукашевич, В. Хатзивассилоглу, Р.М. Кэтлин, Д. Болей, М. Джини, Р. Гросс, Х. Ху, Дж. Тан, Х. Гао и Х. Лю, С. Роберт, С. Мораль, А. Антонио, Р. Имберт, Дж. Рамирес, Г. Солтон, С. Бакли, К.Г. Притам, Л.Х. Патил, П.М. Чаудхари.
На русском языке основные работы в данной сфере создали А.Н. Леонтьев, Л. Пивоварова, М. Ду, Р. Янгарбер, М. Соколова, В. Бобичев, Т. Загибалов, В. Соловьев, В. Поляков, В. Иванов, И. Анисимов, А. Пономарев, В. Бочкарев, С. Вихманн, Е. Проноза, Е. Ягунова, А. Котов, А. Зинина, А. Филатов, С.Б. Потемкин, А.О. Шельманов, И. Смирнов, М.Е. Степанова, Е. Будников, А.Н. Челомбеева, П.В. Матавина, Д.А. Скоринкин, Н. Юсупова, Н.В Лукашевич, А. Левчик, П. Зарубин, Д.Р. Богданова, Т.А. Литвинова.
Логическая связь между эмоциями в тексте была изучена в работах Парротта, В. Плутчика, Р. Ашмита, Б. Рухи, М. Джирландо, С. Негри, Н.
Оливетти и В. Риша, Дж. Саттлз и Нэнси Ид. Льюис, К. И. Маркус, Р. Баркан, C. Жоржетта, Й. Маккенси, Д.С. Тарски, С. Крипке, А. Макинсон, Д. Булл, К. Булос, Б.А. Джорд, В. Карниелли и С. Пицци, А. Лялецкого, А. Джесси, Т. Хескес, Д. Кюльвейн, Э. Цивцивадзе и Дж. Урбан, Э. Орланделли, Б. Леллманн, Э. Пиментел, Н. Н. Непейводы, А. В. Манциводы.
Использованием текста в социальных сетях интересовались в своих работах В.А. Харде, С.С. Сонаване, Б.С. Датту, В. Гор, Д. Тишковский, Р.А. Шмидт, М. Д. Болей, М. Джини, Р. Гросса, С. Дас, М. Чен, М. Тонг, Э. Кулумпис, Т. Уилсон и Дж. Мур, М. Телуолл, К. Бакли и Г. Палтоглу, Д. Тан, Ф. Вэй, Н. Ян, М. Чжоу, Т. Лю и Б. Цинь, Х. Саиф, Й. Хе и Х. Алани, Ю.А. Загорулько, М.Н. Мокроусов.
В данной работе также были проанализированы основные системы, доступные для публичного анализа текста при выделении из него эмоций, такие как PowerBI, MokoronSystem, Tableau, Qemotion (API для преобразования текста в эмоции), MoodPatrolAPI и т.д. Такие системы широко используются интернет-магазинами: AliExpress, Amazon, Skyscanner, Booking и т.д.
Взаимодействие человека и машины изучали в своих работах Р. Тадеусевич, А. Норжук, С. Магирски, Г. Миклашевский, Сак-Танг, С. Есичайкуль, П.Б. Майерс.
Область исследования. Анализ эмоций, выраженных в тексте - способ обработки естественного языка, включающий в себя анализ текста, компьютерную лингвистику и биометрию для систематической идентификации, извлечения, количественной оценки и изучения аффективных состояний и субъективной информации. Анализ эмоций широко применяется для изучения материалов, поступивших от клиентов магазинов: обзоры и ответы на опросы онлайн. Рост числа социальных сайтов, в особенности блогов, вызвал интерес к анализу эмоций. Появилась возможность предсказывать будущие события, анализируя эмоции людей, извлеченные из текста о государственной политике, бирже, выборах и т.д. Данная тенденция также способствует улучшению взаимодействия человека с машиной, давая машине возможность интеллектуального общения с человеком.
В этих исследованиях используются методы и алгоритмы интеллектуальной поддержки при принятии управленческих решений в технических системах. Данный вопрос находится в компетенции специальности 2.3.1 - Системный анализ, управление и обработка информации. Объект и предмет исследования
Объект исследования. Объектом исследования является интеллектуальная система поддержки процессов и моделей, используемых для анализа эмоций, выделенных из текста и ее применение для человеко-машинного взаимодействия.
Предмет исследования. Предметом исследования является технологический процесс и алгоритмы, которые используются для анализа эмоциональных характеристик текста.
Цель диссертационного исследования
Цель работы - построение действенных и производительных средств эмоционального анализа текста для создания эффективного личностно-ориентированного лингвистического человеко-машинного интерфейса. Задачи
Для достижения поставленной цели необходимо решить следующие задачи:
1) Разработать алгоритм и компьютерную программу для создания лингвистического человеко-машинного интерфейса (соответствует пп. 5 паспорта специальности 2.3.1).
2) Проанализировать методы и алгоритмы интеллектуальной поддержки принятия управленческих решений для взаимодействия человека с машиной в технических системах (соответствует п. 10 паспорта специальности 2.3.1). При анализе текста использовать алгоритмы оценки максимального правдоподобия и машину опорных векторов для принятия решения об эмоциональной полярности текста и для подготовки соответствующего текстового ответа машиной во время взаимодействия человека с машиной.
3) Провести анализ систем распознавания эмоций, выраженных в тексте. Разработать предложения по усовершенствованию данных систем. В
соответствии с этим разработать методы и алгоритмы решения задач таких систем (соответствует пп. 4, 5 паспорта специальности 2.3.1).
4) Проанализировать эмоциональные характеристики текстов, изученных в научных исследованиях. Разработать специальную математическую и алгоритмическую модель для обработки эмоций русскоязычного текста (соответствует п. 5 паспорта специальности 2.3.1). Создать математическую модель пространства слов ^о^расе), в которой вхождения слов и расстояние между ними используются для определения силы и интенсивности эмоции в тексте.
5) Применить разработанные методы для обобщения эмоций, выраженных в тексте, на основе их происхождения и смыслового значения для усовершенствования лингвистического интерфейса.
Положения, выносимые на защиту
1. Обоснование предложенных модели и алгоритма для создания эффективного текстового лингвистического человеко-машинного интерфейса,
заключающееся в том, что они анализируют внутренние характеристики слов
текста, чем улучшают качество и скорость анализа.
2. Психолингвистическая модель и ее характеристики, используемые для выявления личности и характера автора текста в процессе взаимодействия, заключающееся в том, что предложенная методика делает общение человека с машиной более эффективным.
3. Предложены методики, позволяющие провести доступный системный анализ эмоциональных характеристик текста, его предварительную обработку для оптимизации перед анализом.
4. Создание высокоэффективного алгоритма Emostemmer для выявления и идентификации эмоций в русскоязычном тексте, заключающееся в том, что предложенные метод и алгоритм позволяют проводить анализ быстрее и выявлять случаи выражения эмоций, не обнаруживаемые словарными методами.
5. Разработан теоретический метод, используемый для обобщения эмоциональных характеристик текста, позволяющий выявлять связи между
эмоциями, которые не выявлялись ранее существовавшими методами. Научная новизна результатов
1) Разработана новая научная концепция для построения систем текстового взаимодействия между человеком и машиной. Предлагаемая модель отличается от существующей тем, что прежние модели не анализируют внутренние характеристики слов текста и работают на основе механизма словаря для анализа текста и идентификации его компонентов. В то время как предложенная модель анализирует внутреннюю структуру слов и характеристики текста и отношения между различными компонентами текста перед его анализом.
2) Создана новая модель для выявления психолингвистических характеристик текста и последующего их использования для расширения взаимодействия человека и машинного агента. Модель, идентифицирует текст как текст экстравертного или интровертного человека и подготавливает ответ на основе психолингвистической маркировки и эмоциональной направленности текста. Эта модель поможет сделать машины способными взаимодействовать с человеком без какой-либо внешней поддержки или содействия со стороны третьих лиц.
3) Выдвинута новая идея использования математической концепции Метрического пространства (Metric Space) в обработке естественного языка. Новая идея анализа текста получила название «Word Space». В этой модели «Word Space» (пространства слов), набор слов из текста создается путем определения их вхождений и измерения расстояния между ними.
4) Построен новый алгоритм анализа эмоциональных характеристик текста на русском языке. Данный алгоритм способствует развитию новых моделей обработки русскоязычного текста. Это поможет новому пониманию обработки естественного языка. Новый алгоритм отличается от существующих, поскольку те работают с очень большим словарем эмоций, для чего требуется больше времени, чтобы идентифицировать эмоции из текста. В то время как предлагаемый алгоритм работает со словарями размером на 90% меньше размера
уже существующих, и идентифицирует их на 65% быстрее, чем прежние (согласно проведённым экспериментам). Кроме того, новый алгоритм может характеризовать и слова, не попавшие в словарь (по их частям). 5) Построена теоретическая модель для эффективного обобщения эмоций, выраженных в тексте. Существующие модели просто суммируют идентифицированные эмоции и резюмируют их, подсчитывая количество их появлений в тексте, тогда как предлагаемая модель суммирует эмоции на основе отношений и зависимостей, которые существуют между ними.
Теоретическая и практическая значимость работы
1. Доказана целесообразность предлагаемого теоретико-методического подхода к улучшению взаимодействия человека и машины с использованием тонкой сбалансированной математической модели с методами искусственного машинного обучения.
2. Изложены аргументы и факты, обусловливающие перспективу данного исследования для дальнейшей разработки концептуальных оснований, для моделирования и создания полностью дееспособной системы, взаимодействующей с человеком, и подготовки ответов, удовлетворяющих потребности человека.
3. Раскрыты потребности системы, которая эффективно анализирует характеристики текста во время его анализа, а результаты могут быть использованы для управления и контроля над деятельностью человека в организации наряду с принятием решения об общественных интересах и политике.
4. Изучена совокупность условий и возможностей для развития методов обработки естественного языка для анализа русскоязычных текстов.
5. Проведена модернизация методических подходов и критериев оценки эффективности развития лингвистического интерфейса.
Методы исследования. В решении задач использовались методы системного анализа, статистические методы и методы для обработки
естественного языка, такие как интеллектуальный анализ данных, MLE (Maximum Likelihood Estimator) - оценка максимального правдоподобия, N-gram extractor, контролируемое обучение и кластеризация для идентификации и классификации эмоциональных характеристик текста. Результаты исследования оцениваются с использованием статистического инструментария, T-критерия, P-значений, Матрицы ошибок (Confusion Matrix), Accuracy, Recall (полнота), Precision (точность) и F-M^sure (в общем случае) и других.
Достоверность. Теоретически работа построена на известных фундаментальных математических и компьютерных моделях. Идея базируется на анализе смежных исследований других учёных и практического применения результатов исследований в промышленности и образовательных процессах. Подобные практики предполагают, что существует потребность в такой модели, которая может задать дальнейшее направление для будущих открытий. Использован значительный информационный массив текстовых данных и другого фактического материала. Установлена непротиворечивость и качественное совпадение полученных результатов с данными, представленными в независимых источниках. Использовались современные методы сбора информации и анализа текста, а также стандартные подходы, модели обобщения и сравнения результатов с существующими моделями. Проведены эксперименты для проверки новизны исследования и его важности. Полученные научные и практические результаты подтверждаются также их представительным обсуждением в научных изданиях и выступлениях на научно-технических конференциях.
Публикация результатов. Результаты исследований отражены в 19 работах, в том числе, две статьи опубликованы в изданиях, индексируемых в Scopus, Web Of Science [1-2]; 5 статей [3-7] опубликованы в рецензируемых научных журналах и изданиях ВАК; 2 статьи [8,9] - на конференциях за рубежом; 6 статьей [10-15] - в российских сборниках конференций; 4 статьи [1619] - на конференциях в Удмуртском государственном университете в г. Ижевске. В одной из статей [8] рассматривается разработка модели для анализа
эмоций, извлеченных из текста с использованием математической концепции пространства слов. В статье [1] предложена разработанная методика анализа логических характеристик эмоций в тексте из естественного языка обработки. В статье [12] рассматриваются инструменты эмоционального анализа текста в процессе управления обществом. В статье [15] разработан метод обобщения эмоций, извлеченных из текста. В статье [10] описывается анализ эмоциональных характеристик текста, написанного на русском языке.
Апробация результатов. Основные положения и результаты работы на конференциях и семинарах: материалы 20-го международного семинара по компьютерным наукам и информационным технологиям CSIT'2018 (Болгария, Варна); Материалы 21-го международного семинара по информатике и информационным технологиям (Австрия, Вена); Всероссийская конференция «Информационные технологии для интеллектуальной поддержки принятия решений» (Уфа, 2017); 7-я Международная научная конференция по информационным технологиям и системам (Ханты-Мансийск, 2019); 7-я научная конференция по Информационным технологиям интеллектуальной поддержки принятия решений ITIDS 2019 (Уфа); 10-я Международная конференция по комплексным системам: Проблемы управления и моделирования ПУМСС 2018 (Самара); Всероссийская научная конференция «Приоритеты стратегии научно-технологического развития России и обеспечение воспроизводства инновационного потенциала высшей школы» (Ижевск, 27 февраля 2019 г.); Всероссийская научная конференция «Конвергенция в сфере научной деятельности: проблемы, возможности, перспективы» (Ижевск, 2018).
Личный вклад соискателя состоит в постановке и реализации задач на всех этапах исследования, подготовке основных публикаций по итогам выполненной работы, непосредственном участии в разработке программ по теме диссертационного исследования.
Структура и объём диссертационной работы
Диссертационная работа состоит из введения, шести глав, заключения, списка литературы и приложений. Основная часть работы состоит из 1 22
страниц печатного текста, 19 рисунков и 16 таблиц. Библиографический список содержит 101 наименований источников.
Схема системы
Ниже приводится схема предлагаемой в работе системы. Системная схема используется для представления фактического физического состояния системы и является первым уровнем ее абстракции. Она служит концептуальной составляющей для абстрактного представления объекта, сущностей, процессов, фаз системы.
Системная схема лингвистического человеко-машинного интерфейса начинается с определения всех фаз, которые влияют на работу системы. Каждая фаза лингвистического человеко-машинного интерфейса представлена в форме прямоугольника; кружок на схеме представляет элементы ввода и вывода данной системы. Скругленные прямоугольники в схеме используются для представления функций, алгоритмов, которые применяются на каждом конкретном этапе системы. Она включает в себя компоненты, которые отфильтровываются из системы во время определенной фазы. Стрелка в схеме представляет направление потока управления процессами лингвистического человеко-машинного интерфейса.
Схема ниже представляет полный вид лингвистического человеко-машинного интерфейса. Она демонстрирует процессы, которые выполняются для выявления, анализа и обобщения эмоциональных компонентов письменного текста. Схема системы описана на ниже (рисунок 0.1).
Рисунок 0-1 - Системная диаграмма для лингвистического человеко-
машинного интерфейса
Схема представляет различные фазы лингвистического человеко-машинного интерфейса. На каждом этапе интерфейса используются определенные методы и алгоритмы. Детали этих методов и алгоритмов обсуждаются в следующих главах диссертации.
Лингвистический человеко-машинный интерфейс начинает работать с текстом в качестве входных данных. Обычно текст представляет собой блог из дискуссионной группы в Интернете или сайта социальной сети. Текст из интернета в основном содержит ненужные символы, пробелы, знаки препинания или орфографические ошибки, что усложняет анализ текста. Чтобы избежать этих осложнений, предварительная обработка выполняется для текста с использованием алгоритма, созданного во время повторного поиска. Алгоритм идентифицирует ненужные компоненты текста и исправляет орфографические ошибки, чтобы восстановить текст в его фактической форме.
На следующем этапе эмоциональные характеристики текста отслеживаются путем выявления эмоций, представленных в нем. Чтобы идентифицировать эмоции из текста, был создан алгоритм с именем Emostemmer. Emostemmer является первой в своем роде программой, которую используют для идентификации эмоций.
После этого полярность слов, представляющих эмоции, обрабатывается и уравновешивается. Замечено, что отрицания, такие как «нет», когда эмоции в тексте изменяются, изменяют фактическую полярность эмоции. Полярность эмоции отражает ее природу, будь то положительная или отрицательная эмоция.
После выявления эмоций и уравновешивания их полярности анализируются характеристики эмоций в тексте, которые включают в себя анализ синтаксических, семантических и логических характеристик. Для этого используются различные статистические показатели и методы интеллектуального анализа данных. Чтобы сделать систему способной эффективно взаимодействовать с человеком и машиной, используются проанализированные эмоциональные характеристики текста, а также база данных психологических слов для представления конкретного поведения
человека. Объединение обеих характеристик дает системе возможность анализировать поведение автора текста и соответственно общаться с ним. Здесь алгоритмы, такие как машина опорных векторов (БУМ), оценка максимального правдоподобия (МЬБ), используются для классификации поведения автора в определенной категории.
На заключительном этапе лингвистического человеко-машинного интерфейса общие эмоции, выделенные из текста, в результате их взаимодействия, суммируются с использованием теорий эмоций. Обобщенная эмоциональная ориентация текста является результатом лингвистического человеко-машинного интерфейса.
Лингвистический человеко-машинный интерфейс представляет собой полный интерфейс, который идентифицирует и анализирует те эмоциональные характеристики текста, которые не привлекли большого внимания исследователей. Перед построением лингвистического интерфейса было проведено подробное исследование представленных доступных систем. Данные исследования можно найти в статьях [1, 7 и 8]. Результаты исследования опубликованы в журналах и конференциях [1-18].
ГЛАВА 1. ИССЛЕДОВАНИЕ СОВРЕМЕННЫХ СИСТЕМ И ИЗУЧЕНИЕ ИХ МЕХАНИЗМОВ ИСПОЛЬЗОВАНИЯ АНАЛИЗА ТЕКСТА ДЛЯ ВЗАИМОДЕЙСТВИЯ ЧЕЛОВЕКА С МАШИНОЙ
В первой главе рассмотрены современные системы, изучены механизмы их использования для анализа эмоциональных характеристик текста во время общения между человеком и машиной. Работа по идентификации эмоций в тексте с целью принятия решения о мнении авторов по конкретной теме или продукту началась в 1966 году и продолжалась более 4 десятилетий на разных языках. За это время основными достижениями были создание словаря различных типов эмоций на разных языках, сравнение одной и той же эмоции на одном языке и на другом, вычисление баллов полярности различных эмоций, перевод эмоций с одного языка на другой и изучение их характеристики в пределах определенного языка [19-31].
В русском языке анализ эмоций начался в течение последних двух десятилетий. Русский язык богат эмоциями и словарным запасом. Из-за уникальной семантической структуры и богатства слов невозможно полностью передать эмоции русского языка на другой язык или с другого языка на русский язык. Это усложняет процесс выявления эмоций и их анализа на русском языке. Однако некоторые русскоязычные ученые проделали уникальную работу по устранению этих сложностей [32-37].
Похожие диссертационные работы по специальности «Другие cпециальности», 00.00.00 шифр ВАК
Когнитивная обработка диминутивов носителями русского языка как родного и тюркско-русскими билингвами2020 год, кандидат наук Васильева Алина Вячеславовна
Метод формального описания содержания сложных естественно-языковых текстов и его применение к проектированию лингвистических процессоров2005 год, доктор технических наук Фомичев, Владимир Александрович
Эмотивность и перевод: особенности языковой передачи эмоций при художественном переводе с английского языка на русский2009 год, кандидат филологических наук Стрельницкая, Екатерина Владимировна
Соотношение эмоционального и рационального в восприятии рекламного текста2003 год, кандидат филологических наук Поломских, Елена Геннадьевна
Речевые проявления личности в устном рассказе нарративного типа2000 год, кандидат филологических наук Гиль, Оксана Георгиевна
Список литературы диссертационного исследования кандидат наук Аббаси Мохсин Маншад, 2022 год
СПИСОК ЛИТЕРАТУРЫ
1. Аббаси, М.М. Обнаружение спама в CMC-сообщениях с использованием технологий Word embedding и Term Frequency- Inverse Document Frequency (TF-IDF) / М.М. Аббаси, А.П. Бельтюков, JT. Хусейн, А.К. Аббаси // XXI век: Итоги прошлого и проблемы настоящего плюс. -2020. -Т. 50.-№2.-С. 143- 148.
2. Аббаси, М.М. Изучение доступных систем для анализа эмоций извлеченных из текста и обеспечения механизма для улучшения взаимодействия человека с машиной /М.М. Аббаси, А.П. Бельтюков // Интеллектуальные Системы В Производстве. -2019. - Т. 17. - № 4. - С. 53-62.
3. Beltiukov, A. Logical analysis of emotions in text from natural language /А. Beltiukov, M. Abbasi // Vestnik Udmurtskogo Universiteta. Matematika. Mekhanika. Komp'yuternye Nauki. - 2019. - Vol. 29. - № 1. - P. 106-116.
4. Abbasi, M. Conflict matrix as a mechanism of identifying the conflict in emotions of written text / M. Abbasi, A. Abbasi, A. Beltiukov, L. Hussain // International Journal of Engineering & Technology. - 2020. - Vol. 9. - № 2. -P. 541-545
5. Аббаси, М.М. Анализ эмоций из текстов для управления обществом / М.М. Аббаси, А.П. Бельтюков, JI. Хусейн, А.К. Аббаси // Инфокоммуникационные технологии журнал. Академия Телекоммуникаций И Информатики. -2019. - Т. 17, № 2. -С. 246-254.
6. Аббаси, М.М. Анализ влияния отрицаний на текст с использованием кластеризации и колеса эмоций Плутчика / М.М. Аббаси // Научно Технический Вестник Поволжья. -2019. - Т. 66. № 12. -С. 23-28.
7. Аббаси, М.М. Анализ настроений: полидисциплинарная область исследований / М.М. Аббаси, А.П. Бельтюков // Конвергенция в сфере научной деятельности: проблемы, возможности, перспективы: материалы Всерос. науч. конф., 11 дек. 2018 г., Ижевск: Удмуртский университет,
2018. - [Электрон. Ресурс]. - Лицензион. договор № 28лб от 14.01.2019. С. 377-38.
8. Abbasi, M. Analyzing emotions from text corpus using word space / M. Abbasi, A. Beltiukov // Proceedings of the 20th International Workshop on Computer Science and Information Technologies (CSIT 2018). Bulgaria. -2018.-P. 90-94.
9. Abbasi, M. Identifying the strength of emotions in relation with the topic of text using Word space / M. Abbasi, A. Beltiukov //Proceedings of the 21lh International Workshop on Computer Science and Information Technologies (CSIT 2018)., Vienna. - 2019. Journal of Atlantis Highlights in Computer Sciences.-Vol 3.-P. 1-5.
10.Abbasi, M. Analyzing the Complex Nature of Emotions from Written Text Using Parrott Theory of Emotions / M. Abbasi, A. Beltiukov // Информационные технологии интеллектуальной поддержки принятия решений (ITIDS 2020): тр. VIII Всерос. научн. конф. (С приглашением зарубеж. ученых), 17-21 марта 2020 г., г. Ханты-Мансийск. Advances in Intelligent System Research. -2020. - № 174. - С. 99-102
П.Аббаси M.M. Инструменты Эмоционального анализа текстов в процесс управления и моделирования в сложных системах / М.М. Аббаси // Проблемы управления и моделирования в сложных системах(ПУМСС): тр. XX Международная конференция, 3-6 сентябрь 2018 г., Самара: в 1 т. - Самара. - 2018,- С. 236-242.
12.Аббаси, М.М. Механизм предварительной обработки текста перед анализом настроений / М.М. Аббаси, А.П. Бельтюков // Информационные технологии интеллектуальной поддержки принятия решений (ITIDS 2018): тр. VI Всерос. научн. конф. (с приглашением зарубеж. ученых), 2831 мая 2018 г., Уфа: в 3 т. -Уфа: Уфим. гос. авиац. техн. ун-т, 2018. - Т. 1. -С. 13-17.
П.Аббаси, М.М. Информационные технологии изменения стилистики текста для его эмоциональной модификации / М.М. Аббаси, А.П. Бельтюков // Информационные технологии и системы: тр. VII ой международной научной конференции, 12-16 марта 2019 г., Ханты-Мансийск, 2019. - С. 137-142.
14.Abbasi, М.М. Summarizing emotions from text using Plutchik wheel of emotion / M.M. Abbasi, A.P. Beltiukov // Информационные технологии интеллектуальной поддержки принятия решений (ITIDS 2019): тр. VII Всерос. научн. конф. (с приглашением зарубеж. ученых), 28-30 мая 2019 г., Уфа: в 3 т. -Уфа: Уфим. гос. авиац. техн. ун-т, 2019. - Т. 1. - С. 291294.
15.Аббаси, М.М. Изучение эмоций по текстам, написанным людьми в Удмуртской Республике / М.М. Аббаси, А.П. Бельтюков // Итоговая студенческая научная конференция (46; Апрель, 2018) XLVI итоговая студенческая научная конференция Удмуртского государственного университета: материалы всерос. конф. (апрель 2018 г.) - Ижевск: Удмуртский университет, 2018. - Лицензион. договор №787лб от 12.11.2018.-С. 26-28.
16.Аббаси, М.М. Взаимосвязь между информатикой и языком для анализа текста / М.М. Аббаси, А.П. Бельтюков // Relationship between informatics and linguistic for text analysis // Итоговая студенческая научная конференция (45; Апрель, 2017) XLV итоговая студенческая научная конференция: - Ижевск: Удмуртский университет, 2017. - Лицензион. договор № 236лб от 20.04.2018. - С. 13-14.
П.Аббаси, М.М. Цифровая экономика: сфера, которая изменит будущее человечества / М.М. Аббаси, А.П. Бельтюков // Цифровое
развитие экономики и социальной сферы Удмуртской Республики //Цифровая экономика: сфера, которая изменит будущее человечества:
актуальные вопросы и роль высшей школы: материалы Всерос. научно-практ. конф. 15 ноября 2019 г. Удмуртский университет, 2019. -Лицензион. договор № 843лб от 09.12.2019. - С. 3-6.
18.Abbasi, М.М. Analysis of sentiment and emotion from text written in Russian language / M.M. Abbasi, A.P. Beltiukov // Информационные технологии интеллектуальной поддержки принятия решений (ITIDS 2017): тр. V Всерос. научн. конф. (с приглашением зарубеж. ученых), 16-19 мая 2017 г., Уфа: в 3 т. -Уфа: Уфим. гос. авиац. техн. ун-т, 2017. - Т. 2. - С. 42-47.
19.Stone, P. The General Inquirer: A Computer Approach to Content Analysis/ P. Stone, D. Dunphy, M. Smith // MIT Press: Cambridge .-1966. -519p.
20.Wiebe, J. Identifying Subjectivity characters in Narrative / J. Wiebe, M. Janyce // Proceeding of the 13th International Conference on Computational Linguistics. :Helsinki .-1990 P. 401-408.
21.Vasileios, H. Predicting the Semantic Orientation of Adjectives / H. Vasileios, R. Kathleen // Proceeding of the 8lh Conference on European chapter of the Association for Computational Linguistics - Spain. -1997. -P. 174-181.
22.Peter, D. Thumbs Up or Thumbs Down? Semantic Orientation Applied to
th
Unsupervised Classification of Reviews/ D. Peter // Proceedings of the 40 Annual Meeting of the Association for Computational Linguistics. -Philadelphia. - 2002. - P. 417-424.
23.Pang, B. Thumbs up? Sentiment Classification using Machine Learning Techniques / B. Pang, L. Lee // Proceedings of the Conference on Empirical Methods in Natural Language Processing. - Philadelphia. - 2002. - P. 79-86.
24.Denecke, K. Are SentiWordNet scores suited for multi-domain sentiment classification? / K. Denecke // Proceedings of the 4th International Conference on Digital Information Management. - USA. - 2009. -P. 33-38.
25.Gupta, G. A Survey of Text Mining Techniques and Applications / G. Gupta, I. Vishal // Journal of Emerging Technologies in Web Intelligence. - 2009. -Vol. l.-№ l.-P. 60-76.
26.Boley, D. Partition based clustering for web document categorization / D. Boley, M. Gini, R. Gross // Elsevier Journal for Decision Support Systems. -1997. - Vol. 27. - № 3. - P.329-341.
27.Emiliano, L. A logical analysis of responsibility attribution: emotions, individuals and collectives / L. Emiliano, L. Dominique, M. Eunate // Journal of Logic and Computer. - 2014. -Vol. 24. - № 6. -P. 1313-1339.
28.Ermakov, A. Knowledge extraction from text and its processing: Current state and prospects / A. Ermakov // Proceedings of the Computational Linguistics and Intellectual Technologies. -2009. -P. 50-55.
29.Pivovarova, L. Adapting the PULS event extraction framework to analyze
th
Russian text / L. Pivovarova, R. Yangarber // Proceedings of the 4 Biennial International Workshop on Balto-Slavic Natural Language Processing. - Sofia, Bulgaria. -2013. - 8-9 August. -P. 100-109.
30.Zagibalov, T. Comparable English-Russian Book Review Corpora for Sentiment Analysis. Russia / T. Zagibalov, K. Belyatskaya // Proceedings of the 1st Workshop on Computational Approaches to Subjective and Sentiment Analysis. -Lisbon, Portugal. -2010. -P. 67-72.
31.Steinberger, J. Multilingual Entity-Centered Sentiment Analysis Evaluated by Parallel Corpora / J. Steinberger, P. Lenkova, M. Kabadjov // Proceedings of Recent Advances in Natural Language Processing. -Bulgaria. -2011. -P. 770775.
32.Chetviorkin, I. Sentiment Analysis Track at ROMIP 2011 / I. Chetviorkin, P. Braslavskiy, N. Loukachevich // Computational Linguistics and Intellectual Technologies. Proceedings of the International Conference (Dialog). -Bekasovo. -2012. -P. 1-14.
33.Sokolova, M. Classification of emotion words in Russian and Romanian languages / M. Sokolova, V. Bobicev // International Conference RANLP. -Borovets, Bulgaria. -2009. - P. 416-420.
34.3агорулько, Ю.А. Описание сложных предметных областей на основе интеграции средств представления знаний / Ю.А. Загорулько, И.Г. Попов // Труды международного семинара Диалог'97 по компьютерной лингвистике и ее приложениям. -Москва. -1997. -С. 110-115.
35.Богданова, Л.И. Оценочные смыслы в русской грамматике (на материале глаголов эмоционального отношения) / Л.И. Богданова // Russian Journal of Linguistics. -2018. -Vol. 22. - № 4. -P. 844—873.
36.Jaruskululchi, C. Generic text summarization using local and global properties of sentences / C. Jaruskululchi // IEEE/WIC International conference on web intelligence. - 2003. -P. 13-16.
37.Kiabod, M. A novel method of significant words identification in text summarization / M. Kiabod, M. Naderi, S. Sharafi // Journal of Emerging Technologies in Web Intelligence. - 2012. -Vol.4. - №3. - P. 252-258.
38.Россеева, О.И. Организация эффективного поиска на основе онтологий / О.И Россеева, Ю.А. Загорулько // Труды международного семинара Диалог'2001 по компьютерной лингвистике и ее приложениям. -Аксаково. -2001.-Т.2.-С. 333-342.
39.Ахмадеева, И. Р. Подход к формированию тематических коллекций текстов на основе интернет ресурсов / И. Р Ахмадеева, Ю. А. Загорулько, Н. В. Саломатина // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. -2013. -Т. 11. -№ 4. -С. 5-15.
40.Непейвода, И. И. Семантика алгоритмических языков / Н. И. Непейвода // Итоги науки и техн./ Сер. Теор. вероятн. Мат. стат. Теор. кибернет.20. -1983. -С. 95-166.
41.Непейвода, Н. Н. О некоторых возможностях локальных вычислений в теории систем и базах данных/ Н. Н. Непейвода. // Программные системы: теория и приложения. -2016. -Т. 7. -№ 4. -С. 145-160.
42.Мокроусов, М.Н. Извлечение данных из коммерческих веб-форумов / М.Н. Мокроусов, Н.Н. Чиркова // Интеллектуальные системы в производстве. -2016. -Т. 14. -№ 1. -С. 659-73.
43.Мокроусов, М.Н. Автоматизация нечеткого поиска в задаче распознавания старопечатных кириллических текстов / М.Н. Мокроусов // V международная конференция и молодежная школа /информационные технологии и нано технологии. -Самара. -21-24 мая 2019г. -С. 158-165.
44.Gil R. Sentiment Analysis in Power BI - Part 2 // [Электронный ресурс! URL: https://datachant.com/2016/08/09/sentiment-analysis-power-bi-part-2/ (дата обращения: 10.02.2020).
45.Tableau Desktop: Start your free 14-Day trial // [Электронный ресурс] URL: https://www.tableau.eom/products/desktop/download#system-requirements (дата обращения: 05.04.2020).
46.Q emoitonapp login // [Электронный ресурс] URL: https://twitter.com/qemotionapp (дата обращения: 11.04.2020).
47.MoodPatrol login // [Электронный ресурс] URL: https://twitter.com/hashtag/MoodPatrol?src=hash (дата обращения: 19.04.2020).
48.DeLone, W. Information systems success: The quest for the dependent variable / W. DeLone, E. McLean // Information Systems Research. -1992. -Vol. 3. -№ l.-P. 60-95.
49.Rai, A. Assessing the Validity of IS Success Models : An Empirical Test and Theoretical Analysis / A. Rai, S. Lang, R. Welker // Information Systems Research. -2002. -Vol. 13. -№ 1. -P. 50-69.
50.Bryd, T. A process-oriented perspective of IS success: Examining the impact of IS on operational cost / T. Bryd, E. Thrasher, T. Lang, N. Davidson// Omega, Elsevier. -2006. -Vol. 34. -№ 1. -P. 448-460.
51.Wu, J. Measuring KMS success: A re specification of the DeLone and McLean s model / J. Wu, Y. Wang // Elsevier Information & Management. -2006.-Vol. 43.-№ 1. -P.728-739.
52.Lai, J. Exploring the Effects of Dependability on Enterprise Applications Success in e-Business / J. Lai, C. Yang , W. Tang // SIGMIS-CPR'06 . -Claremont, California, USA. -2008. -P. 244-52.
53.Rijsbergen, C. New models in probabilistic information retrieval / C. Rijsbergen, S. Robertson, M Porter // British Library research & development reports.- 1980. -№. 5587.
54.Porter, M. An algorithm for suffix stripping / M. Porter // Emerald Publishing. - 1980. -Vol.14. -№3._ p. 211-218.
55.Krovetz, R. Viewing morphology as an inference process/ R. Krovetz // Artificial Intelligence Journal. - 2000. - Vol.118. -№ 2. - P. 277-294.
56.Paice, C. Another Stemmer / C. Paice // ACM SIGIR Forum. - 1990. - Vol. 24. -№ 3. -P. 56-61.
57.William, B. Strength and similarity of affix removal stemming algorithms / B. William J. Christopher // ACM SIGIR Forum. - 2003. - Vol. 37. -№ 1. -P. 2630.
58.Michela, B. A probabilistic model for stemmer generation / B. Michela, F. Nicola, M. Massimo // Information Processing and Management. -2005. - Vol. 4. -№ l.-P. 121-137.
59.Wiebe, J. Annotating expressions of opinions and emotions in language / J. Wiebe, T. Wilson, C. Cardie // Language Resources and Evaluation. -2005. -Vol. 39.-№ 2.-P. 165-210.
60.Peng F. Context sensitive stemming for web search / F. Peng, N. Ahmed, X. Li, Y. Lu// In Proceeding of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval SJR Conference. -2007. -P. 639-646.
ól.Prasenjit, M. YASS: Yet another suffix stripper / M. Prasenjit, M. Mandar, K. Swapan, K. Gobinda // ACM Transactions on Information Systems. -2007. -Vol. 25. -№ 4. -P. 18.
62.Giorgos, A. An efficient mechanism for stemming and tagging: the case of Greek language / A, Giorgos, A. Konstantinos, B. Christos, P. Vassilis P // In Proc. of the 14th international conference on Knowledge-based and intelligent information and engineering systems. -UK. -8-10 Sep 2010. -P. 389-397.
63.Feinerer, I. Analysis and Algorithms for Stemming Inversion / I. Feinerer I // Lecture Notes in Computer Science, Springer. -Berlin. -2010. -Vol. 6458. -P. 290-299.
64.Jiaul, H. GRAS: An effective and efficient stemming algorithm for information retrieval / H. Jiaul, M. Mandar , K. Swapan, J. Kalervo // ACM Transactions on Information Systems. -2011 .-Vol. 29. -№ 4. -P. 1-24.
65.Fernández, A. An Unsupervised Method to Improve Spanish Stemmer / A. Fernández, J. Díaz , Y. Gutiérrez , R. Muñozv // Natural Language Processing and Information Systems. NLDB 2011. Lecture Notes in Computer Science, Springer. -Berlin. -2011. -Vol. 6716. -P. 221-224.
66.Cherif, W. Building a syntactic rules-based stemmer to improve search effectiveness for Arabic language / W. Cherif, A. Madani, M. Kissi// 9th International Conference on Intelligent Systems: Theories and Applications. -May 7-8, 2014. . -P. 1-6.
67.Danilova, V. A Survey of Multilingual Event Extraction from Text / V. Danilova, M. Alexandrov, X. Blanco // Natural Language Processing and
Information Systems. NLDB. 2014. Lecture Notes in Computer Science, Springer. -Berlin. -2014. -Vol. 8455. -P. 85-88.
68.Moral, C. A survey of stemming algorithms in information retrieval / C. Moral, A. Antonio, R. Imbert R, J. Ramirez // Information Research. -2014. -Vol. 19. -№ 1. -P. 605.
69.Loukachevitch, N. Open evaluation of sentiment-analysis systems based on the material of the Russian language / N. Loukachevitch, I. Chetviorkin// Scientific and Technical Information Processing. -2014. -Vol. 41. -№ 6. -P. 370-76.
70.Gadri, S. Information retrieval: A new multilingual stemmer based on a statistical approach / S. Gadri, A. Moussaoui // 3rd International Conference on Control, Engineering & Information Technology (CEIT). Tlemcen, Algeria. -2015. -P. 1-6.
71.Lewis, C. Implication and the Algebra of Logic / C. Lewis // Mind, Oxford University Press. -1912. -Vol. 21. -№ 84. -P. 522-31.
72.Ruth, C. A Functional Calculus of First Order Based on Strict Implication / C. Ruth // Journal of Symbolic Logic. -1946. -Vol. 11. -№ 1. -P. 1-16.
73.Georgette, L. Specificity and the interpretation of quantifiers // Linguistics and Philosophy. -1977. -Vol. 1. -№ 2. -P. 233-245.
74.McKinsey, J. Some theorems about the sentential calculi of Lewis and Heyting / J. McKinsey, A. Tarski // Journal of Symbolic Logic. -1948. -Vol. 13. -№ 3. -P. 1-15.
75.Büchi, J. Boolean algebras with operators / J. Büchi, J. Bjarni, T. Alfred // American Journal of Mathematics. - 1953. -Vol. 73. -P. 891-939.
76.Kripke, S. A Completeness Theorem in Modal Logic / S. Kripke // Journal of Symbolic Logic. - 1959. -Vol. 24. -№ 1. -P. 1-4.
77.Kripke, S. The undecidability of monadic modal quantification theory // Mathematical Logic Quarterly. - 1962. -Vol. 8. -№ 2. -P. 113-116.
78.Kaplan, D. Semantical analysis of modal logic I. Normal modal propositional calculi / D. Kaplan, S. Kripke// Zeitschrift fiir mathematische Logik und Grundlagen der Mathematik. - 1966. -Vol. 9. -№ 2. -P. 67-96.
79.Makinson, D. Semantical analysis of modal logic II. Non-normal modal propositional calculi / D. Makinson , S. Kripke // The Journal of Symbolic Logic. - 1963. -Vol. 33. -P. 568.
80.Jaakko, H. Sum as an Inference and a Performance / H. Jaakko, E. Cogito // The Philosophical Review. - 1963. -Vol. 72. -№ 4. -P. 487-496.
81.Bull, R. Basic Modal Logic / R. Bull, K. Segerberg// Handbook of Philosophical Logic. Syntheses Library. - 1984. -Vol. 165. -P. 1-88.
82.Boolos, G. The Logic of Provability / G. Boolos // Journal of Symbolic Logic. -Cambridge: Cambridge University Press. - 1993. -Vol. 60. -№ 4. -P. 85-91.
83.Carnielli, W. Modalities and Multimodalities / W. Carnielli, C. Pizzi // Logic, Epistemology and the Unity of Science. Springer, Berlin. - 2009. -Vol. 12. -№ 1. -P. 312-18.
84.Lellmann, B. Sequent Systems for Lewis' Conditional Logics / B. Lellmann, D. Pattinson // Logics in Artificial Intelligence. JELIA 2012. Lecture Notes in Computer Science. - Springer, Berlin. - 2012. -Vol. 7519. -P. 320-332.
85.Tishkovsky, D. The Tableau Prover Generator MetTeL2 / D. Tishkovsky, R. Schmidt, M. Khodadadi // Logics in Artificial Intelligence, JELIA. - Springer, Berlin.-2012. -Vol.7519. -P. 492-95.
86.Lyaletski, A. Evidence Algorithm and Search in First-Order Logics / A. Lyaletski // Journal of Automated Reasoning. - Springer, Berlin. - 2015. -Vol. 55. -№ 3. -P. 269-284.
87.Jesse, A. Premise Selection for Mathematics by Corpus Analysis and Kernel Methods / A. Jesse, T. Heskes, D. Kiihlwein, E. Tsivtsivadze // Journal of Automated Reasoning.-2014. -Vol. 52. -№ 2. -P. 191-213.
88.0rlandelli, E. Proof Analysis in Deontic Logics / E. Orlandelli // Deontic Logic and Normative Systems. - 2014. -P. 139-14. Lecture Notes in Computer Science. -Vol. 8554.
89.Lellmann, B. Proof Search in Nested Sequent Calculi / B. Lellmann, E. Pimentel // Logic for Programming, Artificial Intelligence, and Reasoning. LPAR. - 2015. -P. 558-574. Lecture Notes in Computer Science. -Vol. 9450.
90.Plutchik, R. The Nature of Emotions / R. Plutchik // Archived from the original on July 16, 2020.- 1980.
91.Parrott, R. Emotions in Social Psychology / R. Parrot / Key Readings in Social Psychology. Philadelphia: Psychology Press. ISBN 978-0863776830. - 2001.
92.Лукашевич, H.B. Создание лексикона оценочных слов русского языка РуСентилекс / Н.В Лукашевич, А.В. Левчик // Труды конференции OSTIS. Минск.-2016.-С. 377-382.
93.Loukachevitch N. Creating a General Russian Sentiment Lexicon/ N. Loukachevitch, A. Levchik // In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016). -Slovenia. -2016.-P. 1171- 1176.
94.Блог психолога Петра Зарубина из г. Новосибирска, статья «Список чувств и эмоций» // [Электронный ресурс] URL: - https://peter-zarubin.ru/spisok-chuvstv-i-emotsii/ (дата обращения: 11.11.2020).
95.Yusupova, N. Artificial intelligence tools for analyzing emotionally colored information from customer reviews in the service sector/ N. Yusupova, D. Bogdanova, N. Komendantova // IOP Conference Series: Materials Science and Engineering. 2nd Scientific Conference on Fundamental Information Security. Problems in terms of the Digital Transformation (FISP 2020). -Stavropol. -2021.-Volume 1069.
96.Bogdanova, D. Emotionally Colored Information and Decision Support Systems / D. Bogdanova // Proceedings of the 8lh Scientific Conference on
Information Technologies for Intelligent Decision-Making Support (ITIDS 2020). -Series: Advances in Social Science, Education and Humanities Research. -Vol. 483. - Atlantis Press. -P. 391-396.
97.Panicheva, P. Semantic Coherence in Schizophrenia in Russian Written Texts / P. Panicheva, T. Litvinova // Proceedings of 25lh Conference of Open Innovation Association (FRUCT). -Helsinki. - 2019. -P. 241-249.
98.Sboev A. Automatic gender identification of author of Russian text by machine learning and neural net algorithms in case of gender deception / A. Sboev, I. Moloshnikov, D. Gudovskikh, A. Selivanov // Procedia Computer Science. -2018.-Vol. 123.-P. 417-423.
99.Litvinova, T. Overview of the RusProfiling PAN at FIRE Track on Cross-genre Gender Identification in Russian / T. Litvinova, F. Rangel, P. Rosso, P. Seredin // Working Notes of FIRE. - India. - 2019. -P. 1-7.
100.Litvinova T. Authorship Attribution of Russian Forum Posts with Different Types of N-gram Features / T. Litvinova, O. Litvinova, P. Panicheva // Proceedings of the 3ld International Conference on Natural Language Processing and Information Retrieval (NLPIR 2019). - 2019. -P. 9-14.
101.Аббаси, M.M. Emostemmer: эффективная программа для определения эмоций в русском языке с использованием N-грамм (Эмоциограммы) / М.М. Аббаси, А.П. Бельтюков // Интеллектуальные Системы В Производстве.-2021.-Т. 19, №4.-С. 148-157.
ПРИЛОЖЕНИЯ
Фрагмент кода информации о сборке
Лингвистический интерфейс подготовлен с использованием функций и компонентов языка программирования МаНаЬ. Несколько рисунков лингвистического человеко-машинного интерфейса показаны ниже.
Рисунок 0-1 - Код GUI при запуске программы лингвистического человеко-машинного интерфейса.
Рисунок 0-2 - Загрузка файла в текстовом формате или формате Excel в лингвистический интерфейс для предварительной обработки текста.
Рисунок 0-3 - Код ЕшоБ1ешшег для идентификации эмоций, извлеченных
из текста.
Рисунок 0-4 - Применение кластеризации для разделения эмоций на
разные группы.
Рисунок 0-5 - Сравнения различных алгоритмов кластеризации и построения графика между ними.
Рисунок 0-6 - Применение машинного обучения
Фрагмент программного кода
function varargout = start(varargin)
% START MATLAB code for start.fig
% START, by itself, creates a new START or raises the existing
% singleton*.
%
% H = START returns the handle to a new START or the handle to
% the existing singleton*.
%
% START('CALLBACK',hObject, eventData, handles ,...) calls the local
% function named CALLBACK in START.M with the given input arguments. %
% START('Property','Value',...) creates a new START or raises the
% existing singleton'. Starting from the left, property value pairs are
% applied to the GUI before start_OpeningFcn gets called. An
% unrecognized property name or invalid value makes property application
% stop. All inputs are passed to start_OpeningFcn via varargin.
%
% 'See GUI Options on GUIDE'S Tools menu. Choose "GUI allows only one
% instance to run (singleton)".
%
% See also: GUIDE, GUIDATA, GUIHANDLES
% Edit the above text to modify the response to help start
% Last Modified by GUIDE v2.5 21-Jan-2019 20:15:56
% Begin initialization code - DO NOT EDIT gui_Singleton = 1;
gui_State = struct('gui_Name', mfilename, ...
'gui_Singleton', gui_Singleton, ... 'gui_OpeningFcn', @start_OpeningFcn, ... 'gui_OutputFcn', @start_OutputFcn, ... 'gui_LayoutFcn', [] , ... 'gui_Callback', []); if nargin ischar(varargin{1})
gui_State.gui_Callback = str2func(varargin{1});
end
if nargout
[varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:});
else
gui_mainfcn(gui_State, varargin{:});
end
% End initialization code - DO NOT EDIT % --- Executes just before start is made visible.
function start_OpeningFcn(hObject, eventdata, handles, varargin)
% This function has no output args, see OutputFcn. % hObject handle to figure
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % varargin command line arguments to start (see VARARGIN)
% Choose default command line output for start handles.output = hObject;
% Update handles structure guidata(hObject, handles);
% UIWAIT makes start wait for user response (see UIRESUME) % uiwait(handles.figurel);
% --- Executes on button press in pushbutton2.
function pushbutton2_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton2 (see GCBO) for text file read % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
[fileName,pathName,filterIndex] = uigetfile(1•.txt', 'Pick a text File') if fileName ~= 0
set(handles.edit3, 'String', strcat(pathName,fileName));
fid = fopen(fileName)
handles.fidd=fid guidata(hObject,handles)
s= {} ;
tline = fgetl(fid) mtext = tline
Idx = regexp(mtext, ' ., !]') result= mtext(Idx) tline = result
handles.filenames=result guidata(hObject,handles)
while ischar(mtext) s=[s;mtext] mtext = fgetl(fid)
end
set(handles.edit2,'String',s); end
% --- Executes on selection change in listbox2.
function listbox2_Callback(hObject, eventdata, handles)
% hObject handle to listbox2 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
% Hints: contents = cellstr(get(hObject,'String')) returns listbox2 contents as cell array
% contents{get(hObject,'Value')} returns selected item from listbox2
% --- Executes during object creation, after setting all properties.
function listbox2_CreateFcn(hObject, eventdata, handles)
% hObject handle to listbox2 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles empty - handles not created until after all CreateFcns called
% Hint: listbox controls usually have a white background on Windows. % See ISPC and COMPUTER.
if ispc £& isequal(get(hObject,'3ackgroundColor'), get(0, 'de faultUicontrolBackgroundColor'))
set(hObject,'3ackgroundColor','white');
end
% --- Executes on button press in pushbutton4.
function pushbutton4_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton4 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
result=handles.filenames tline=result
fid=handles.fidd
s= {} ;
while ischar (tline)
s=[s;tline] tline = fgetl(fid)
end
set(handles.edit4,'String',s)
% --- Executes on button press in pusnbutton5.
function pushbutton5_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton5 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
% fid= handles.fidd fid — fopen('C:\Users\$nc\Documents\ProgrammingPart\newtext.txt *)
str=textscan(fid,' %s' ) text = str{ : } count=size(text,1)
set(handles.textl,'String',count) % fclose(fid)
j=l
index={}
for k=l:numel(A)
freq(k)=sum(ismember(text,A{k))) if (freq>0)
index{j}=A{k} j=j+l
end index end
set(handles.listboxl, 'String',index);
set(handles.listbox2,'String',num2str(freq'));
% set(handles.uitableldata',freq');
% set(handles.uitablel,'data',str2double(index'))
% For Positive Emotions
handles.positivelist=PosEmo guidata(hObject,handles)
% fid=fopen(fileName) % str=textscan(fid,'%s') % % fclose(fid) % text=str{:}
for k=l:numel(PosEmo)
Pfreq(k)=sum(ismember(text,PosEmo{k}))
end
ppofreq=sum(Pfreq) % For adding Number of Array handles.ppfreq=ppofreq guidata(hObject,handles)
PosFreq= nnz(Pfreq); % For non Zero elements of Array set(handles.text4,'Strang',ppofreq)
% For Negative Emotions
handles.negativelist= NegEmo guidata(hObject,handles)
% fid=fopen(fileName) % str=textscan(fid,'%s') % fclose(fid) % text=str{:}
for k=l:numel(NegEmo)
Nf re q(k)—sum(i smember(t ext,NegEmo{k}))
end
neggfreq=sum(Nfreq) handles.negfre= neggfreq
guidata(hObject,handles)
NegFreq= nnz(Nfreq);
set(handles.text7,'Strang',neggfreq)
axes(handles.axes 3);
% bar (ppofreq, neggfreq)
y= [ppofreq, neggfreq]
bar(l, ppofreq, 'g');
hold on bar(2, neggfreq, 'r');
set(gca,'XTickLabel',{'Positive Emotions','Negative Emotions'}); ylabel ('Number of Emotions');
% bar(y,'FaceColor',[0 .5 .5],'EdgeColor',[0 .9 .9],'LineWidth',1.5) % bar(y,'FaceColor',[0 .5 .5], 'EdgeColor', [0 .9 .9],'LineWidth',1.5)
set(gca, 'XTickLabel',{'Positive Emotions 1,'Negative Emotions'}) ylabel('Number of Emotions')
legend(legends)
matlabImage = imread('smilel.jpg'); image(matlablmage) axis off axis image
axes(handles.axes5)
matlablmage = imread('anger.jpg');
image(matlablmage)
axis off
axis image
axes(handles.ахезб) matlablmage = imread('textt.jpg'); image(matlablmage) axis off axis image
% --- Executes on button press in pushbutton€.
function pushbutton6_Callback(h0bject, eventdata, handles)
% hObject handle to pushbutton6 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
fid = fopen('C:\Users\$nc\Documents\ProgrammingPart\newtext.txt')
str=textscan(fid,'%s') text = str{ :}
В = {'не',1 кет'} % fid=fopen(fileName) % str=textscan(fid,'%s') % fclose (fid) % text=str{:}
% text =result D=1
index={}
for k=l:numel(B)
freq(k)=sum(ismember(text,B{k}))
if (freq>0) index{j}=B{k} j=j+l '
end index end
c= ismember(textне')
idxl = find(ismember(с, 1)) idx2=idxl+l
newStr = text(idx2)
handles.wordnegs=newStr guidata(hObject,handles)
% --- Executes on button press in pushbutton7.
function pushbutton7_Callback(hObject, eventdata, handles)
% hObject handle to pushbutton7 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
wordsnegations= handles.wordnegs
set(handles.listboxl,'String',wordsnegâtions);
% set(handles.listbox2, 'String', num2str(freq' ) ) ;
% --- Executes on button press in pushbuttons.
function pushbutton8_Callback(hObject, eventdata, handles)
% hobject handle to pushbutton8 (see GCBO)
% eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA)
wordsnegations= handles.wordnegs negadj=handles.negativelist posadj=handles.positivelist
c= ismember(negadj,wordsnegations) d= ismember(posadj,wordsnegations)
freqnn=handles.negfre freqppo=handles.ppfreq
if (c=l) freqnn=freqnn-l
freqppo=freqppo+1
else
freqppo=freqppo-l freqnn=freqnn+1
end
set(handles.text4,'String',freqppo) set(handles.text7,'String',freqnn)
% set(freqppo,'FaceColor1,1 red'); % set(freqnn,'FaceColor','blue');
axes(handles.axes3); % figure;
y=[freqppo,freqnn]
% bar (y, 'FaceColor', [0 .5 .5],'EdgeColor', [0 .9 .9],'LineWidth',1.5) % xlabel(handles.axes,'Radius') % bar (y)
% bar(y{2}, 'FaceColor',r, 'EdgeColor', [0 .9 .9], 'LineWidth',1.5)
% axes(handles.axes3); %
bar(1, freqppo, 'g');
hold on bar(2, freqnn, 'r');
set(gca,'XTickLabel',{'Positive Emotions','Negative Emotions'}); ylabel ('Number of Emotions');
tic
t=fileread('dictionary.txt')
dictt=string(t) % converting to string
dictt=splitlines(dictt) % split into different lines
dictt(1:5)
TF=(dictt= '■)
dictt(TF)=[]
dictt(1:3)
„— fn n n n no" rt n n.rt n.n n,n it n -P- I -111=1 t I I ■ r 1 I I
dictt= replace(dictt,p,"n) dictt(1:3)
dictt=strip(dictt) dictt(1:3)
dicWords=strings(0) for i=l:length(dictt)
dicWords=[dicWords;split(dictt(i))] %split into separate words
end
dicWords=lower(dicWords) ;
Tex=fileread('Opiniontext.txt' )
texx=string(Tex) texx=splitlines(texx) texx(1:5) TF=(texx=="") texx (TF) = [] texx(1:3)
texxWords=strings(0) for i=l:length(texx)
texxWords=[texxWords;split(texx(i))] %split into separate words
end
texxWords(1:10) texxWords=lower(texxWords); k=l;
dicloc=n" loc=""
for i=l:length(texxWords)
for j=1:length(dicWords)
a=sum(isstrprop(dicWords(j),'alpha')); tf=strncmpi(texxWords(i) , dicWords(j) , a) ;
if (tf=l)
loc(k)=texxWords(i); dicloc(k)=dicWords(j);
k=k+l;
else end
end i=i+l;
end lo c1
toe
% list of symbol to remove
% replace them with empty place
% converting to string
% split into different lines
textData = fileread('myopinion.txt'); textData = replace(textData," ",""); textData = split(textData,[newline newline])
startOfTextCharacter = compose("\x0002"); whitespaceCharacter = compose("\x00B7"); endOfTextCharacter = compose("\x2403"); newlineCharacter = compose("\x0036");
textData = StartOfTextCharacter + textData;
textData = replace(textData,[" " newline],[whitespaceCharacter newlineCharacter]);
uniqueCharacters = unique([textData{:}]); numUniqueCharacters = numel(uniqueCharacters);
numDocuments = numel(textData);
XTrain = cell(1,numDocuments); YTrain = cell(1,numDocuments);
for i = 1 :numel(textData)
characters = textData{i}; sequenceLength = numel(characters);
% Get indices of characters.
[~,idx] = ismember(characters,uniqueCharacters);
% Convert characters to vectors. X = zeros(numUniqueCharacters,sequenceLength); for j = 1 :sequenceLength X(idx(j),j) = 1;
end
% Create vector of categorical responses with end of text character, charactersShifted = [cellstr(characters(2 : end)')1 endOfTextCharacter]; Y = categorical(charactersShifted);
XTrainfi} = X; YTrainfi} = Y
end
textData{1} size(XTrain[1} ) YTrain{1}
inputSize = size(XTrain{1},1); numHiddenUnits = 200;
numClasses = numel(categories([YTrain{:}]));
layers = [
sequencelnputLayer(inputSize)
IstmLayer(numHiddenUnits,'CutputMode','sequence') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer] options = trainingOptions('adam', ... 'MaxEpochs',500, ... 'InitialLearnRate',0.01, ... 'GradientThreshold',2, ... 'MiniBatchSize',77,... 'Shuffle','every-epoch', ... 'Plots','training-progress', ... 'Verbose',false); net = trainNetwork(XTrain,YTrain,layers,options);
function generatedText =
generateText(net,uniqueCharacters,startOfTextCharacter,newlineCharacter,whitespa ceCharacter,endOfTextCharacter)
numUniqueCharacters = numel(uniqueCharacters);
X = zeros(numUniqueCharacters, 1);
idx = strfind(uniqueCharacters,startOfTextCharacter); X(idx) = 1;
generatedText =
vocabulary = string(net.Layers(end).Classes); maxLength = 500;
while strlength(generatedText) < maxLength
% Predict the next character scores, [net,characterScores] = predictAndUpdateState(net,X,'ExecutionEnvironment','cpu')
% Sample the next character.
newCharacter = datasample(vocabulary,1,'WeightscharacterScores)
% Stop predicting at the end of text, if newCharacter == endOfTextCharacter break
end
% Add the character to the generated text. generatedText = generatedText + newCharacter;
% Create a new vector for the next input. X(:) = 0;
idx = strfind(uniqueCharacters, newCharacter); X(idx) = 1;
End
generatedText = replace(generatedText,[newlineCharacter whitespaceCharacter],[newline " "]);
end
Bl= K;
B2= C;
33= G;
34= H;
for i=l:6
D(i) =31(i)/sum(31);
end
M = mean(D)
V = var(D)
pdf_D= pdf('norm',-1:0.01:1,M,V) plot(pdf_D,':r')
hold on; for i=l:6
D(i) =32 (1) /surn(B2) ;
end
M = mean(D)
V = var(D)
pdf_D= pdf('norm',-1:0.01:1,M, V) plot (pdf_D)
hold on; for 1=1:6
D(1) =33(1)/sum(B3);
end
M = mean(D)
V = var(D)
pdf_D= pdf('norm',-1:0.01:1, M, V) plot (pdf_D, '—c' )
hold on; for 1=1:6
D(1) = 34(1)/sum(B4);
End
Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.