Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Бобков, Артем Сергеевич

• Бобков, Артем Сергеевич
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Бобков, Артем Сергеевич

СОДЕРЖАНИЕ

Введение

1 Аналитический обзор

1.1 Подходы к распознаванию эмоциональных реакций

1.2 Автоматизированные технологии определения эмоций

1.3 Автоматизированное распознавание движений человека

1.4 Моделирование динамической информации

1.5 Методы грануляции информации

1.6 Постановка задачи автоматизированного определения эмоционального состояния человека по телодвижениям и позам

2 Методика автоматизированной идентификации эмоционального реагирования на основе анализа характерных телодвижений и поз

2.1 Метод выделения на видеоизображении отдельных поз и телодвижений

по двигательной активности человека

2.2 Метод определения базовых эмоциональных состояний человека

по телодвижениям и позам

2.3 Модель движений тела человека на основе нечетких темпоральных высказываний

2.4 Модель идентификации характерных телодвижений человека

2.5 Модель идентификации позы человека и эмоциональной реакции

на основе гранулярной структуризации

2.6 Выводы

3 Алгоритмическое и программное обеспечение для определения эмоциональной реакции человека

3.1 Архитектура программного комплекса распознавания эмоциональных реакций по видеоряду

3.2 Структура базы данных характерных телодвижений

3.3 Алгоритм распознавания эмоциональной реакции человека

3.4 Алгоритмы идентификации телодвижений

3.5 Алгоритмы предварительной обработки видеоинформации

3.6 Анализ и оценка разработанных алгоритмов

4 Апробация методики автоматизированного определения эмоционального состояния человека по видеоизображению

4.1 Экспериментальное исследование программного комплекса

4.2 Оценка эмоциональной реакции при переговорах

4.3 Выводы

Заключение

Список использованных источников

Приложение А. Динамическое описание последовательности движений

в виде нечеткого гиперграфа

Приложение Б. Примеры видеофрагментов телодвижений, характерных

для эмоциональных реакций

Приложение В. Примеры гранул поз, характерных для эмоциональных

реакций

Приложение Г. Акт о внедрении результатов диссертации

4

Введение диссертации (часть автореферата) на тему «Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации»

Введение

Эмоции играют важную роль в человеческой жизни. Анализ эмоционального состояния человека даёт возможность отслеживать изменение поведения людей, их отношение к происходящим событиям. Эмоции влияют на когнитивные процессы и принятие решений. Поэтому потребность в определении эмоциональных реакций приобретает всё большее значение. Основной вклад в развитие теории эмоций внесли: З.Фрейд, Ч.Дарвин, Г.Спенсер, Т.Рибо, У.Джеймс, К.Ланге, У.Кэннон, Ф.Бард, Л.Фестингер, К.Изард, Р.Лазарус, А.Н.Леонтьев, П.В.Симонов, Е.П.Ильин, и др. Проявление эмоций через телодвижения также остаётся всё ещё слабо изученной областью психологии, которая активно развивается в настоящее время.

Недостаточно разработаны и методы формального описания эмоций. Обычно в психологии эмоциональные реакции описываются текстом на естественном языке. В работах М.Коулсона и Дж.Ван дер Стока показано, что можно эффективно определять эмоции по движениям и позам человека, как и по другим показателям, в частности, по мимике. Данная задача тесно связана с анализом динамической нечеткой и неполной информации, полученной при помощи видеокамер. Поэтому для моделирования и формализации описания эмоциональных реакций по движениям и позам целесообразно использовать методы нечеткой математики. Нечеткие системы и вычисления, в частности, методы анализа нечетких временных рядов и нечетких темпоральных высказываний, грануляции информации были рассмотрены в работах Л.Заде, Д.А.Поспелова, В.Педрича, А.П.Еремеева, А.В.Заболеевой-Зотовой, Н.Г.Ярушкиной, С.М. Ковалева, В.Б.Тарасова и др.

Отсутствие моделей и методов, обеспечивающих идентификацию эмоциональных реакций по телодвижениям, не позволяет пока эффективно автоматизировать этот процесс. Вместе с тем автоматизированная обработка информации об эмоциональном состоянии даст возможность решения производственных, экономических, социальных и бытовых проблем [4].

Программные комплексы, осуществляющие интеллектуальную обработку потока видеоданных, могут оказаться полезными везде, где требуется анализ поведения человека, в том числе и его эмоциональной составляющей - в организациях, на транспортных узлах, в крупных магазинах и других местах скопления людей.

Таким образом, ограниченные возможности существующих средств распознавания эмоций по видеоинформации и практическая потребность в автоматизированной идентификации эмоциональной реакции по движениям и позам человека определяют актуальность диссертационного исследования. Цель и задачи работы.

Разработка моделей, методов и средств автоматизированной обработки и анализа видеоинформации, позволяющих определить эмоциональное состояние человека по характерным телодвижениям и позам.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

проанализированы модели, методы и системы автоматизированной обработки информации об эмоциональных реакциях человека; технологии и системы распознавания движений человека по видеоинформации; методы моделирования динамической информации на основе временных рядов;

разработана методика автоматизированного определения эмоционального реагирования человека на основе анализа характерных телодвижений и поз;

разработан метод выделения на видеоряде диапазонов поз и телодвижений по анализу двигательной активности, позволяющий учитывать индивидуальные особенности субъекта;

разработан метод определения базовых эмоциональных состояний человека по телодвижениям и позам;

разработана и исследована модель идентификации движений, соответствующих базовым эмоциональным реакциям человека;

разработана гранулярная структуризация описания характерных поз человека;

разработанные модели, методы и алгоритмы реализованы в виде программного комплекса, автоматизирующего определение эмоционального состояния человека по видеоинформации.

Объектом исследования являются телодвижения и позы человека при различных эмоциональных реакциях.

Предмет исследования - методы и средства автоматизированной идентификации эмоциональной реакции человека по видеоинформации.

Методы исследования. Методы системного анализа, теории нечетких множеств и грануляции информации, нейронных сетей, моделирования динамической информации на основе нечетких временных рядов.

Положения, выносимые на защиту.

1. Методика автоматизированного определения эмоций человека

по его телодвижениям и позам.

2. Метод выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека.

3. Метод определения базовых эмоциональных состояний человека

по телодвижениям и позам.

4. Модель движений тела человека на основе нечетких темпоральных высказываний.

5. Модель идентификации характерных телодвижений человека.

6. Модель идентификации позы человека и эмоциональной реакции на основе гранулярной структуризации.

7. Алгоритмы, реализующие модели и методы определения эмоциональной реакции по телодвижениям и позам.

8. Программный комплекс, автоматизирующий определение эмоционального состояния человека по видеоинформации.

Научная новизна.

1. Разработан и обоснован новый подход к автоматизированному определению эмоциональных реакций человека по видеоряду, основанный на моделировании телодвижений нечеткими временными рядами.

2. Разработан новый метод выделения поз, микро и макродвижений, включающий векторную модель тела человека, контекстно-свободную грамматику для её построения и модель двигательной активности человека.

3. Разработан новый метод определения базовых эмоциональных состояний человека по телодвижениям и позам, включающий модель телодвижений, модели идентификации эмоциональных реакций по характерным движениям и позам.

4. Разработана модель телодвижений человека на основе нечетких темпоральных высказываний, описывающих движения на ограниченном естественном языке.

5. Разработана модель идентификации эмоциональной реакции человека по критерию сходства исходного движения с эталонным описанием.

6. Разработана нейросетевая модель для оценки вероятности отнесения анализируемой позы человека к гранулам характерных поз и соответствующим им базовым эмоциональным реакциям.

Практическая значимость работы.

Разработанный программный комплекс определения эмоциональных реакций человека на основе анализа характерных движений и поз внедрен и успешно применяется для конкурсного отбора соискателей и заключения сделок в отделах по работе с персоналом и клиентами в крупнейшей в Волгоградской области франчайзинговой компании ООО «ВЦ Айлант», распространяющей программный продукт «1С».

Создана база данных эмоциональных телодвижений и поз, подсистема их просмотра, которые могут использоваться в качестве учебного пособия в образовательном процессе по направлениям подготовки специалистов по обеспечению безопасности, 3—с! моделированию и анимации.

Подсистема идентификации характерных движений и поз на видеоизображении может быть использована для классификации больших объёмов видеоданных, поиска определенных телодвижений, автоматического

проставления меток на видеоизображениях с целью ускорения дальнейшей обработки данных.

Разработанный программный комплекс может найти применение в крупных организациях, торговле, робототехнике, сфере обеспечения безопасности[79].

Достоверность выводов и рекомендаций подтверждается теоретическим обоснованием разработанных подходов, отсутствием противоречий с известными теоретическими положениями, согласованностью разработанных моделей, методов, алгоритмов и результатов, полученных при их апробации и практической реализации.

Область исследования. Содержание диссертации соответствует паспорту специальности 05.13.01 «Системный анализ, управление и обработка информации» по следующим областям исследований:

5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации;

12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации;

13. Методы получения, анализа и обработки экспертной информации.

Связь с научными и инновационными программами.

Результаты диссертационного исследования использованы при выполнении проектов РФФИ: 10—01—00165—а «Анализ и синтез интеллектуальных систем на основе логико-лингвистических моделей принятия решений», 10—01— 90012-Бела «Исследование фундаментальных проблем формализации подмножества естественного языка для информационно-справочных систем с естественным языковым интерфейсом», 11-01-97023-р_поволжье «Разработка методов генерации новых идей в проектировании, бизнесе и рекламе на основе математического моделирования лингвистических феноменов естественного языка», 12-07-00270-а «Разработка методов идентификации модели эмоционального поведения человека», 13-07-97042-р_поволжье «Разработка

методов анализа и синтеза знаний при проектировании новых технических и программных систем».

Исследование поддержано программой «Участник молодежного научно-инновационного конкурса» (УМНИК), г. Волгоград, 2011 г.; отмечено дипломом победителя смотра-конкурса научных, конструкторских и технологических работ студентов Волгоградского государственного технического университета в 2010 году; благодарственным письмом ВолгГТУ «Гордость Политеха XXI века».

Апробация работы.

Основные результаты исследования доложены на Всероссийской конференции с элементами научной школы для молодёжи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации» (Ульяновск, 2009г.), Всероссийской научной конференции «Нечёткие системы и мягкие вычисления» (Волгоград, 2009 г.), Конгрессе по интеллектуальным системам и информационным технологиям (Дивноморское, 2010, 2011, 2012 гг.), Всероссийской научно-практической конференции с международным участием «Информационные технологии в профессиональной деятельности и научной

KJ

работе» (Йошкар-Ола, 2010 г.), Международной научной конференции «Инновационные технологии в управлении, образовании, промышленности» (Астрахань, 2010 г.), XXXVII Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе» (Ялта-Гурзуф, Украина, 2010 г.), Международной научно-технической конференции «Открытые семантические технологии проектирования интеллектуальных систем» (Минск, Белоруссия, 2011, 2012, 2013 гг.), VI международной научно-практической конференции «Интегрированные модели и мягкие вычисления в искусственном интеллекте» (Коломна, 2011, 2013 гг.), Конгрессе по интеллектуальным системам и информационным технологиям (Москва, 2011, 2012 гг.), X международной конференции «Operations Research» (Гавана, Куба, 2012 г.), Международном семинаре «Operations Research and Data Mining» (Канкун, Мексика, 2012 г.), XXV международной научной конференции «Математические методы в технике и технологиях» (Волгоград, 2012 г.), V международной конференции по

когнитивной науке (Калининград, 2012 г.), XXIV международной конференции по системному анализу, информатике и кибернетики «Advances in Decision Technology and Intelligent Information Systems» (Баден-Баден, Германия, 2012 г.), II международной конференции по нечетким вычислениям (Баку, Азербайджан, 2012 г.), Международной конференции «Interfaces and Human Computer Interaction and Game and Entertainment Technologiess» (Прага, Чехия, 2013 г.), I конгрессе стран БРИКС и XI Бразильской конференции по вычислительному интеллекту «Ist BRICS Countries Congress and 1 Ith Brazilian Congress on Computational Intelligence» (Порто де Галиньяс, Бразилия, 2013 г.), а также на научных семинарах центра «Разработка интеллектуальных систем и психолингвистического моделирования» Волгоградского государственного технического университета (2008-2013 гг.).

Публикации. По теме диссертационной работы опубликовано 33 печатные работы, в том числе 7 статей в изданиях, входящих в перечень ведущих рецензируемых научных журналов и изданий ВАК РФ, из них 1 работа в журнале, индексируемом в базе Scopus, 1 работа в журнале, индексируемом в Web of Science.

Личный вклад соискателя. Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии. Личный вклад состоял в разработке и апробации новой методики автоматизированного определения эмоционального реагирования на основе анализа телодвижений человека, метода определения интенсивности двигательной активности для выделения участков поз и телодвижений, метода определения базовых эмоциональных состояний по телодвижениям, модели идентификации телодвижений человека по описаниям на ограниченном естественном языке, модели идентификации позы человека и эмоциональной реакции, гранулярной структуризации описания характерных поз человека, программного комплекса, реализующего разработанные модели, методы и алгоритмы.

Структура и объем диссертационной работы.

Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Диссертация содержит 156 страниц основного текста, 31 рисунок, 30 таблиц. Библиографический список включает 163 наименования. Общий объем работы 170 страниц.

Во введении обоснована актуальность работы, сформулирована цель, указаны предмет, объект, методы исследования, основные положения, выносимые на защиту, научная новизна, практическая ценность работы, достоверность выводов и рекомендаций, область исследования, связь с научными и инновационными программами, апробация работы, личный вклад соискателя.

В первой главе проведен анализ методов и средств автоматизированного определения эмоциональных реакций человека. Рассмотрены различные теории эмоций. Проанализированы системы автоматизированной обработки информации об эмоциональном реагировании человека. Рассмотрены методы определения эмоционального состояния и реакции пользователя по анализу телодвижений человека. Сделан вывод о возможности автоматизации данного процесса. Определены недостатки существующих систем и определены требования к разрабатываемому программному комплексу. Для отображения информации о телодвижениях человека в программном комплексе, проведен анализ технологий захвата движений. Проанализированы различные подходы к моделированию динамической информации, описывающей движения на основе временных рядов. Описана модель для работы с естественно-языковыми конструкциями, описывающими динамическую информацию с помощью нечетко-темпоральных высказываний. Рассмотрены различные методы грануляции информации, применяемые для сжатия данных в условиях неточности, неполноты и частичной истинности данных, характерных для представления знаний на естественном языке. Рассмотрены достоинства и недостатки методов классификации характерных поз. Полученные результаты позволили автору сформулировать цель работы и поставить задачи исследования.

Во второй главе предложена методика автоматизированной идентификации эмоционального реагирования на основе анализа характерных телодвижений и поз. Первый этап - построение векторной модели человека для описания телодвижения при помощи разработанной контекстно-свободной грамматики выходной информации с видеосенсоров; второй этап - разделение непрерывной последовательности движений на участки, где наблюдаются телодвижения и позы, при помощи анализа двигательной активности; третий этап - обработка найденных телодвижений и поз; четвертый этап - получение обобщенного вывода об эмоциональном состоянии человека на основе интеграции информации о найденных позах и телодвижениях, соответствующих эмоциональному реагированию. Методика основана на использовании метода выделения на видеоизображении отдельных поз и телодвижений по двигательной активности человека, метода определения базовых эмоциональных состояний человека по телодвижениям и позам, модели движений тела человека на основе нечетких темпоральных высказываний, модели идентификации характерных для эмоциональных состояний поз и телодвижений человека.

В третьей главе приведены алгоритмы и программное обеспечение определения эмоциональных реакций по телодвижениям. Описана архитектура программного комплекса распознавания эмоциональных реакций человека по характерным телодвижениям и позам, структура базы данных характерных поз и телодвижений. Представлены реализованные в программном комплексе алгоритмы: основной алгоритм распознавания эмоциональной реакции человека по телодвижениям и позам, алгоритм идентификации характерных для эмоциональных реакций телодвижений, алгоритмы предварительной обработки распознанной видеоинформации (фильтрация незначащей информации). Приведен анализ и оценка разработанных алгоритмов.

В четвертой главе описана апробация разработанной методики автоматизированного определения эмоционального реагирования человека по видеоизображению. Представлены результаты исследования программного комплекса, проведенным на кафедре истории, культуры и социологии

Волгоградского государственного технического университета, в котором респондентам необходимо было определить эмоциональное состояние человека по видеоизображению. При этом одна группа работала с разработанным программным комплексом, а другая группа — без программы. Описано использование разработанного программного комплекса в ООО «ВЦ Айлант» при ведении переговоров сотрудников отдела продаж с поставщиками и клиентами организации, также отделом по работе с персоналом при проведении собеседований с соискателями.

В заключении приведены основные результаты и выводы, полученные в диссертационной работе.

В приложениях приведены динамическое описание последовательности движений в виде нечеткого гиперграфа, примеры гранул характерных поз и видеофрагменты телодвижений, характерных для эмоционального реагирования, акт о внедрении разработанного программного обеспечения.

1 Аналитический обзор

1.1 Подходы к распознаванию эмоциональных реакций

Существует множество теорий, описывающих эмоции: ранняя теория Фрейда, эволюционная теория, рудиментная теория, теория физических ощущений Джеймса-Ланге, теория физиологических сдвигов Кэннона-Барда, анатомическая теория Папеса, теория когнитивного диссонанса Фестингера, информационная теория Симонова (теория оценок), теория работоспособности Хеббу, когнитивно-физиологическая теория Шехтера, стрессовая теория Лазаруса. Различные теории рассматривают различные аспекты эмоций, это и физиологический, и эволюционный, и когнитивисткий подходы.

Физиологи установили, что эмоциональное возбуждение сопровождается изменением в ритме сердца, дыхания, в моторике желудка и кишечника и т.п. [30, 38, 82, 133]. Всеми этими изменениями руководит мозг [7]. Но каким образом мозг вызывает эти изменения, и как они связаны с эмоциями, которые испытывает личность, было и остается предметом споров. В психологии анализируют влияние эмоций на работоспособность, на познавательные процессы. Безусловно, одна теория не может описать такие сложные явления, как эмоции, поэтому важно рассмотрение всей области теорий эмоций [104].

Известны следующие общие теории эмоций: эволюционная теория Дарвина, информационная теория Симонова (теория оценок), теория базовых эмоций. Рассмотрим каждую из них подробнее.

В эволюционной теории Дарвина предполагается, что эмоции появились в процессе эволюции живых существ как приспособительные механизмы, способствующие адаптации организма к условиям и ситуациям его жизни. Соответственно, телесные изменения, сопровождающие различные эмоциональные состояния, являются рудиментами приспособительных реакций организма [7].

Информационная теория Симонова (теория оценок) основана на предположении о том, что возникновение эмоции обусловлено дефицитом прагматической информации. Именно это вызывает эмоции отрицательного характера: отвращение, страх, гнев и другие. Положительные эмоции, такие как радость и интерес, появляются в ситуации, когда полученная информация увеличивает вероятность удовлетворения потребности по сравнению с уже существующим прогнозом. Таким образом, отрицательные эмоции возникают, когда субъект располагает недостаточным количеством информации, а положительные - когда информация оказывается в избытке [88].

В теории базовых эмоций термин «базовые» эмоции используется в значении «фундаментальные» и понимается в психологии по-разному. Базовые эмоции могут быть представлены в качестве определённых оппозиций. Для выявления этих пар используют различные модели эмоционального пространства: горизонтальную плоскость трёхмерного пространства Вундта, круг Шлосссберга, цилиндрическую модель Вудвортса - Шлоссберга, круговую траекторию Экмана, трёхмерную модель Плачика [52, 147]. Несмотря на геометрическую сложность пространственной организации в названных моделях, все они оперируют примерно одним списком эмоций. Так, Р. Плачик выделяет 8 основных прототипов эмоционального поведения и 8 соответствующих типов базовых эмоций. Поведенческие типы могут быть объединены в противопоставленные пары. Соответственно, в пары объединяются базовые эмоции: разрушение (гнев) - защита (страх); инкорпорация (принятие, одобрение) - отвержение (отвращение); репродукция (радость) — депривация (горе, уныние); исследование (любопытство, предвосхищение) - ориентировка (удивление). Каждая из базовых эмоций включает в себя набор схожих эмоций. Например, отвержение включает скуку, нежелание, антипатию, отвращение, омерзение, ненависть; депривация - задумчивость, меланхолию, печаль и скорбь[147].

Наиболее развёрнутое описание термина «базовые эмоции» даёт К.Изард [51], который выделяет такие характеристики:

- Базовые эмоции имеют отчётливые нервные субстраты.

- Они проявляются при помощи специфической мимики.

- Они влекут за собой отчётливое переживание, осознаваемое человеком.

- Базовые эмоции возникли в результате эволюционных процессов.

Базовые эмоции оказывают организующее влияние на человека и служат

его адаптации [52].

Проанализировав представленные теории эмоций, можно сделать вывод о том, что эволюционная теория помогает выявить описания эмоций, свойственных всем людям, физиологическая - выявить изменения, происходящие в организме человека, и их внешние проявления. Базисными эмоциями можно разделить все множество эмоций на несколько групп, а оценивание по прошлому опыту укажет на отличия эмоций от других состояний (например, от признаков болезни).

В данной работе мы рассматриваем термин «эмоциональное реагирование», основываясь на теории базовых эмоций, дополненной представлениями из теории физиологического и эволюционного происхождения эмоций, а так же из теории оценок.

Исследователи в области социальной психологии подчёркивают тот факт, что эмоциональное состояние выражается через характерные телодвижения [106, 160]. Однако, сравнивая результаты исследований в проявлении эмоций через мимическую активность и телодвижения, можно сказать, что последняя область изучена во много раз меньше [109].

Ч. Дарвин первым описал телодвижения, как проявления эмоциональных реакций у животных и у людей, и предложил несколько принципов, подчёркивающих организацию этих проявлений. Хорошо известны результаты опытов, проводимых с животными, которые говорят о том, что информация, получаемая при анализе телодвижений, увеличивает достоверность определения эмоции [159]. Было доказано, что эмоциональное состояние ребёнка точнее определяется при помощи анализа движений тела, нежели анализа мимики [143].

Основываясь на трудах Дарвина, было проведено много исследований, в которых позы, принимаемые человеком, рассматривались как результат проявления эмоций[108]. М. Коулсон провёл эксперимент [121], в котором определялись шесть эмоций (страх, отвращение, злость, радость, печаль, удивление) по статическим позам, которые были сгенерированы компьютером и представлялись в виде векторных моделей тела человека. Он показал, что определение эмоций по позе также эффективно, как и по голосу, и даже в некоторых случаях также эффективно, как по мимике. Ван дер Сток представил работу [158], в которой исследовались позы, характерные для разных эмоций. Результаты его исследований показали, что по позам лучше распознаются злость и страх, нежели грусть. М. Гросс провёл эксперимент [131], в котором исследовалось, как изменяется походка человека в зависимости от эмоционального состояния, в котором он находится. В его экспериментах наблюдатели определяли верно эмоциональное состояние в 67% случаев.

Телодвижения и жестикуляция по природе своей более разнообразны, чем мимические паттерны, которые способен принимать человек. На данном этапе ещё не разработано формальное описание проявления эмоций через телодвижения в отличие от мимики [125], но такие попытки ведутся [2, 137].

Безусловно, наибольшей способностью выражать различные эмоции обладает лицо человека. Лицевые мышцы быстро изменяются в соответствии с переживаниями человека, они могут создавать значительное число выразительных паттернов; лицо является видимой частью тела. Движения ног, ступней занимают в ранжированном ряду последнее место, так как они не отличаются особой подвижностью, имеют ограниченное число движений и часто скрыты от наблюдателя. Однако, именно по движению ног и жестикуляции в ряде случаев можно узнать о переживаемых эмоциях больше, чем по лицу. Зная способность лица выдавать переживаемые эмоции, люди чаще всего обращают внимание на произвольное контролирование своей мимики и не обращают внимания на движения своих ног и рук.

Список литературы диссертационного исследования кандидат наук Бобков, Артем Сергеевич, 2013 год

Список использованных источников

1. Абрамов, М.И. Полигониометрические исследования подвижности основных отделов опорно-двигательного аппарата вокруг продольной оси / Абрамов М.И., Иванченко Е.И. // Теория и практика физ. культуры. 1971. - № 9. -С. 34-36.

2. Автоматизация анализа движений человека при определении эмоциональных реакций / A.B. Заболеева-Зотова, B.JI. Розалиев, A.C. Бобков, О.С. Федоров // Труды Конгресса по интеллектуальным системам и информационным технологиям "AIS-IT" 10" (2-9 сент. 2010 г., Дивноморское). В 4 т. Т. 2 / ФГОУ ВПО "Южный Федеральный ун-т" [и др.]. - М., 2010. - С. 398405.

3. Автоматизированное определение эмоций человека по движениям и позам / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Пятая международная конференция по когнитивной науке (Калининград, 18-24 июня 2012 г.) : тез. докл. В 2 т. Т. 1 / Межрегион, ассоциация когнитивных исследований (МАКИ), Балтийский федеральный ун-т им. Иммануила Канта [и др.]. - Калининград, 2012. - С. 360-362.

4. Автоматизированное управление практико-ориентированным обучением естественнонаучным дисциплинам (на примере дисциплины «Физика») / Кравец А.Г., Бобков A.C., Кравец А.Д., Абрамичев Д.А., Титова О.В. // Образовательные технологии и общество. - 2013. - Т. 16, № 3. — С. 521-540.

5. Автоматизированный подход к решению задачи определения эмоциональных реакций человека / A.B. Заболеева-Зотова, В.Л. Розалиев, A.C. Бобков, О.С. Федоров // Изв. ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах". Вып. 8 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2010. - № 6. - С. 51-55.

6. Алгоритм CHAID [Электронный ресурс]. - [2010]. — Режим доступа: http://www.basegroup.ru/glossary/defínitions/chaid/

7. Анохин, П.К. Узловые вопросы теории функциональной системы / П.К. Анохин. - М.: Наука, 1980. - 290 с.

8. База данных оцифрованных движений Государственного Университета Огайо (США). The Advanced Computing Center for the Arts and Design [Электронный ресурс]. - [2012]. - Режим доступа: http://accad.osu.edu/research/mocap/mocap_data.htm

9. База данных оцифрованных движений: Motek Entertaimnet Stokmovies DataBase [Электронный ресурс]. - [2012]. - Режим доступа: http://stockmoves.e-motek.com/

10. База данных оцифрованных движений: Университет Карнеги-Меллон (США) Motion Capture Database [Электронный ресурс]. - [2013]. - Режим доступа: http://mocap.cs.cmu.edu/

11. База данных эмоциональных движений [Электронный ресурс] : база данных собранная в Глазко профессором Frank Е. Pollick и его коллегами. -[2012]. - Режим доступа: http://paco.psy.gla.ac.uk/index.php?option=comJdownloads&Itemid=62&view=viewc ategory&catid= 10

12. Белая, Н. А. Лечебная физкультура и массаж / H.A. Белая - М.: Советский спорт, 2001. - 272 с.

13. Берштейн, Л.С. Нечеткие темпоральные модели акустических процессов в интеллектуальных системах автоматического распознавания речи / Л.С. Берштейн, С.М. Ковалев // Известия РАН. ТиСУ, 2004. №6, С. 74-79.

14. Биркенбил, В. Язык интонации, мимики, жестов. / В. Биркенбил .— СПб.: Питер, 1997. - 224 с.

15. Бобков A.C. Интерпретирующая модель поиска движений человека по словесному описанию на ограниченном естественном языке / Розалиев В.Л., Бобков A.C., Абрамова М.Е. // Математические методы в технике и технологиях -ММТТ-25 : сб. тр. XXV междунар. науч. конф. В 10 т. Т. 4. Секции 6, 7, 13 (г. Волгоград, 29-31 мая 2012 г.) / ВолгГТУ [и др.]. - Саратов, 2012. - С. 53-57.

16. Бобков A.C. Распознавание позы тела человека с помощью 3D камеры с сенсором глубины / Шпирко A.A., Дорофеев Н.С., Бобков A.C. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2013) : матер. III междунар. науч.-техн. конф. (Минск, 21-23 февр. 2013 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", ГУ "Администрация Парка высоких технологий". - Минск, 2013. - С. 501-504.

17. Бобков, A.C. Автоматизация начальных этапов проектирования программного обеспечения / Бобков A.C., Заболеева-Зотова A.B., Орлова Ю.А. // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2011) : матер, междунар. науч.-техн. конф. (Минск, 10-12 февр. 2011 г.) / Белорус, гос. ун-т информатики и радиоэлектроники, Администрация парка высоких технологий. - Минск, 2011. - С. 177-180.

18. Бобков, A.C. Автоматизированная система определения эмоционального состояния человека методом анализа видео ряда / Бобков A.C., Федоров О.С., Заболеева-Зотова A.B. // Тезисы докладов юбилейного смотра-конкурса научных, конструкторских и технологических работ студентов ВолгГТУ, Волгоград, 11-14 мая 2010 г. / ВолгГТУ, Совет СНТО. - Волгоград, 2010.-С. 194-195.

19. Бобков, A.C. Автоматизированное выделение статических и динамических зон тела для определения эмоционального состояния человека / A.C. Бобков, О.С. Федоров, B.JI. Розалиев // Инновационные технологии в управлении, образовании, промышленности «АСТИНТЕХ - 2010» (г Астрахань 11-14 мая 2010 г.) / Издательский дом «Астраханский университет», 2010. - С. 74 -76.

20. Бобков, A.C. Автоматизированное выделение статических и динамических зон тела для определения эмоционального состояния человека / Бобков A.C., Розалиев В.Л., Федоров О.С. // Информационные технологии в профессиональной деятельности и научной работе : сб. матер, всерос. науч.-практ. конф. с междунар. участием. В 2 ч. Ч. 2 / Марийский гос. техн. ун-т. -Йошкар-Ола, 2010. - С. 50-54.

21. Бобков, A.C. Анализ видео ряда для определения эмоциональных реакций человека / A.C. Бобков, О.С. Федоров, В.Л. Розалиев // Информационные технологии в науке, образовании, телекоммуникации и бизнесе (IT+SE40). Майская сессия (Украина, Крым, Ялта-Гурзуф, 20—30 мая 2010 г.) : матер. XXXVII междунар. конф. и дискуссионного науч. клуба : прилож. к журн. "Открытое образование" / РАН [и др.]. - [Б/м], 2010. - С. 79-81

22. Бобков, A.C. Идентификация позы тела человека с помощью камеры с инфракрасным сенсором глубины / Бобков A.C., Шпирко A.A., Дорофеев Н.С. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VII-й междунар. науч.-практ. конф. (Коломна, 20-22 мая 2013 г.). В 3 т. Т. 3 / Рос. ассоциация искусств, интеллекта, Рос. ассоциация нечётких систем и мягких вычислений, МГТУ им. Н.Э. Баумана [и др.]. - М., 2013. - С. 1332-1337.

23. Бобков, A.C. Моделирование движений человека на основе нечётких темпоральных высказываний / Бобков A.C., Заболеева-Зотова A.B., Петровский А.Б. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2013) : матер. III междунар. науч.-техн. конф. (Минск, 21-23 февр. 2013 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", ГУ "Администрация Парка высоких технологий". - Минск, 2013. - С. 497-500.

24. Бобков, A.C. Модель представления характерных жестов и телодвижений человека в виде нечёткого последовательного темпорального высказывания / Бобков A.C., Заболеева-Зотова A.B., Розалиев B.JL // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VI междунар. науч.-практ. конф. (Коломна, 16-19 мая 2011 г.). В 2 т. Т. 2 / Рос. ассоциация искусственного интеллекта [и др.]. - М., 2011. — С. 890-896.

25. Бобков, A.C. Применение нейронных сетей и грануляции при построении автоматизированной системы определения эмоциональной реакции человека / A.C. Бобков, B.JI. Розалиев, О.С. Федоров // Изв. ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах". Вып. 9 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2010.-№ И.-С. 63-67.

26. Бобков, A.C. Распознавание неуверенности и негативного состояния человека / A.C. Бобков, О.С. Федоров, B.JI. Розалиев // Проведение научных исследований в области обработки, хранения, передачи и защиты информации: сб. науч. тр. всерос. конф. с элементами науч. школы для молодёжи (г. Ульяновск, 1-5 дек. 2009 г.). В 4 т. Т. 2 / Ульяновский гос. техн. ун-т [и др.]. - Ульяновск, 2009.-С. 143-151.

27. Бобков, A.C. Система распознавания эмоционального состояния человека на основе анализа видео ряда / Бобков A.C., Розалиев B.JI., Федоров О.С. // Нечёткие системы и мягкие вычисления (НСМВ-2009): сб. ст. 3-й всерос. науч. конф., 21-24 сент. 2009 г. / ВолгГТУ [и др.]. - Волгоград, 2009. - Т. 2. - С. 245253.

28. Бобков, A.C. Фаззификация данных, описывающих движение человека / Бобков A.C., Розалиев B.JI. // Открытые семантические технологии проектирования интеллектуальных систем (OSTIS-2011) : матер, междунар. науч.-техн. конф. (Минск, 10-12 февр. 2011 г.) / Белорус, гос. ун-т информатики и радиоэлектроники, Администрация парка высоких технологий. - Минск, 2011. -С.483-486

29. Бобков, A.C. Формализованное описание движений человека на основе нечетких темпоральных высказываний / Бобков A.C., Заболеева-Зотова A.B., Петровский А.Б. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. VII междунар. науч.-практ. конф. (Коломна, 20-22 мая 2013 г.). - М., 2013. - С. 488^195.

30. Бреслав, Г.М. Психология эмоций / Г.М. Бреслав. - М.: Смысл; Издательский центр «Академия», 2004. - 544 с.

31. В Испании создали программу для распознавания эмоций [Электронный ресурс]. - [2008]. - Режим доступа: http://www.hi-it.ru/news-soft/v-ispanii-sozdali-programmu-dlya-raspoznavaniya-emocy.html

32. В Японии создан робот-манекенщица учитель [Электронный ресурс]. - [2009]. - Режим доступа: http://science.compulenta.ru/410153/

33. Вагин В.Н., Куликов A.B., Фомина М.В. Методы теории приближенных множеств в решении задачи обобщения понятий// Известия РАН: Теория и системы управления. - 2004. - №6. - С.52-66.

34. Вилсон, Г. Язык жестов / Г. Вилсон .- М., 2001 -213 с.

35. Воеводин Ю.Ю. Исследование комбинированных алгоритмов обучения нейронной сети для решения задач классификации / Комарцова Л.Г., Воеводин Ю.Ю. // Интегрированные модели и мягкие вычисления в искусственном интеллекте : сб. науч. тр. III Межд. науч.-практ. сем.. - М., 2005. -С. 306-308.

36. Глухих, Ю.Н. Основы динамической морфологии (остеология): Учебное пособие / Ю.Н. Глухих, Г.И. Серебряков. - Омск: Изд-во СибГАФК, 1998.- 100с.

37. Голова профессора Эйнштейна [Электронный ресурс]. - [2009]. -Режим доступа: http://www.3dnews.ru/news/golova_professora_einshteina/

38. Дарвин, Ч. Сочинения в 12 т. Т.5. Происхождение человека и половой отбор. Выражение эмоций у человека и животных / Ч. Дарвин ; под ред. E.H. Павловского. - М.; Л.: Гос. изд-во биолог, и мед. лит-ры, 1940. - 320 с.

39. Дискриминантный анализ [Электронный ресурс]. - [2001]. - Режим доступа: http://www.statsoft.ru/home/textbook/modules/stdiscan.html

40. Дорохов, Р.Н. Спортивная морфология: Учеб. пос. / Р.Н. Дорохов, В.П. Губа, М.: СпортАкадемПресс, 2002. - 236 с.

41. Дроботов, Г. Изобретена комплексная система по распознаванию эмоций человека [Электронный ресурс] / Г. Дроботов. - [2012]. - Режим доступа: http://www.mobiledevice.ru/Facial-recognition-Technology-Christian-Peter-CeBIT-2006.aspx

42. Еремеев, А.П. Алгоритмы вывода для точечной темпоральной логики ветвящегося времени / Еремеев А.П., Куриленко И.Е. // Инновационные информационные технологии. - 2013. - Т. 2. - № 2. - С. 238-246.

43. Еремеев, А.П. Интеграция технологии OLAP и нечетких множеств для обработки неопределенных и неточных данных в системах поддержки принятия решений / Еремеев А.П., Еремеев A.A. // Программные продукты и системы - 2013. -№ 1. - С. 2.

44. Еремеев, А.П. Методы представления и обработки неопределенной информации в интеллектуальных системах поддержки принятия решений / Еремеев А.П., Фоминых И.Б. // Проблемы машиностроения и автоматизации. -2012.-№ 1.-С. 44-51.

45. Еремеев, А.П. О возможности реализации темпорального языка запросов / Еремеев А.П., Пантелеев A.A. // Вестник Московского энергетического института. - 2012. - № 2. - С. 155-160.

46. Еремеев, А.П. Применение технологий хранилищ данных и темпоральных баз данных в интеллектуальных системах / Еремеев А.П., Еремеев A.A., Пантелеев A.A. // Вестник Ростовского государственного университета путей сообщения. - 2011. - № 3. - С. 68-74.

47. Еремеев, А.П. Темпоральные и нечетко-темпоральные модели в интеллектуальных системах управления перевозочными процессами / Еремеев А.П., Ковалев С.М. // Вестник Ростовского государственного университета путей сообщения. - 2011. -№ 3. - С. 74-82.

48. Задача создания системы автоматизированного распознавания эмоций / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2012) : матер. II междунар. науч.-техн. конф. (Минск, 16-18 февр. 2012 г.) / У О "Белорусский гос. ун-т информатики и радиоэлектроники", Админ. парка высоких технологий. - Минск, 2012.-С. 347-350.

49. Заде, Л. Понятие лингвистической переменной и его применение к принятию приближенных решений / Л. Заде : Пер. с англ. - М.: Мир, 1976.

50. Зациорский, В.М. Биомеханика двигательного аппарата человека / В.М. Зациорский ,А.С. Аруин ,В.Н. Селуянов. - М., ФИС, 1981 . - 141с.

51. Изард, К. Психология эмоций / К. Израд. - СПб.: Питер, 2003. - 464 с.

52. Измайлов, Ч.А. Психофизиологические основы эмоций / Ч.А. Измайлов, A.M. Черноризов. - М.: Москов. псих.-соц. ин-т, 2004. - 72 с.

53. Ильин, Е. П. Эмоции и чувства / Е. П. Ильин. — 2-е изд. — СПб. : Питер, 2008. - 783 с.

54. Инструкция Министерства здравоохранения СССР и Министерства финансов СССР от 8 января 1986 г. N 2 «О порядке организации и проведения врачебно-страховой экспертизы».

55. Интерпретирующая модель нечётких последовательных темпоральных высказываний, описывающих движение человека / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев В.Л., Бобков A.C. // Труды конгресса по интеллектуальным системам и информационным технологиям "IS&IT12" (Дивноморское, Краснодарский край, 2-9 сент. 2012 г.). В 4 т. Т. 1 : тр. конф. "Интеллектуальные системы "12" и "Интеллектуальные САПР - 2012" / ЮФУ [и др.]. - М., 2012. - С. 417-424.

56. Кандрашина, Е. Ю. Представление знаний о времени и пространстве в интеллектуальных системах / Е. Ю. Кандрашина, Л.В. Литвинцева, Д.А. Поспелов . - М.: Наука, 1989. - 328 с.

57. Ковалев, С. М. Нечетко-темпоральные модели структурного анализа и идентификации динамических процессов в слабо формализованных задачах принятия решений / Диссертация на соискание ученой степени доктора технических наук. - Таганрог, 2002. - 337 с.

58. Ковалев, С.М. Интерпретирующие модели для нечетко-темпоральных схем вывода в интеллектуальных системах динамического типа / С.М. Ковалев // Девятая национальная конференция по искусственному интеллекту с международным участием КИИ2004. Труды конференции. М.: Изд-во Физ.-мат.лит., 2004. Т.1. С. 378-385.

59. Ковалев, С.М. Интеллектуальные модели анализа нечетко-временной информации в телекоммуникационных системах / С.М. Ковалев, С.С. Новоковский // Актуальные проблемы развития технических средств и технологий железнодорожной автоматики и телемеханики: Междунар. Межвуз. Сб. Науч. Тр. Ростов н/Д: РГУПС, 2004. С. 122-129.

60. Ковалев, С.М. Модель представления и обработки нечетко-временной информации о последовательных событиях в слабо формализованных динамических процессах / С.М. Ковалев, А.И. Долгий. // Перспективные информационные технологии и интеллектуальные системы. Таганрог. Изд-во ТРТУ, 2004. №3 (19). С. 77-81.

61. Ковалев, С.М. Нечетко-темпоральные модели анализа сложных динамических процессов в реальном времени / С.М. Ковалев, Д.В. Швалов // Актуальные проблемы развития технических средств и технологий железнодорожной автоматики и телемеханики: Междунар. межвуз. сборник науч. тр. Ростов н/Д: РГУПС, 2003. С.47-52.

62. Комарцова, Л. Г. Нейрокомпьютеры / Л. Г. Комарцова, А. В. Максимов. - М.: Изд-тво МГТУ им. Н. Э. Баумана, 2004. - 400с

63. Кузьменко, Ю.Д. Морфо-функциональные особенности позвоночника спортсменов некоторых видов спорта: Автореф. дис. .канд. биол. Наук / Ю.Д. Кузьменко. - Смоленск, 1973 . - 20с.

64. Моррис, Д. Библия языка телодвижений. / Д. Моррис ; пер. с англ. Н. Караева .- М.: Эксмо, 2010 .- 672 с.

65. Нечеткие множества в моделях управления и искусственного интеллекта / А.Н. Аверкин, И.З. Батыршин, А.Ф. Блишун, В.Б. Силов, В.Б. Тарасов. -М.: Наука, 1986.

66. Панасюк, Т.В. Подвижность в суставах у прыгунов в воду: сравнительный и возрастно-половой аспекты / Панасюк Т.В., Распопова Е.А. // Юбилейный сборник трудов ученых РГАФК, посвященный 80-летию академии. — М.: 1998.-Т. 5.-С. 169-174.

67. Первый в мире робот-учитель [Электронный ресурс]. - [2010]. -Режим доступа: http://japantoday.m/index.php?dn=news&to=art&id=l 3

68. Петровский, А.Б. Пространства множеств и мультимножеств / Петровский А.Б. - М.: Едиториал УРСС, 2003. - 248 е.]

69. Пиз, А. Язык телодвижений / А. Пиз, Б. Пиз .- М. : ЭКСМО, 2007 .464 с.

70. Подход к формализации эмоциональных жестов и движений человека в виде последовательных темпоральных высказываний / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев B.JI., Бобков A.C. // Труды Конгресса по интеллектуальным системам и информационным технологиям "IS&IT 11" (Дивноморское, 2-9 сент. 2011 г.). В 4 т. Т. 1 : докл. секций междунар. науч.-техн. конференций "AIS" 11" и "CAD-2011" / ФГОУ ВПО "Южный федеральный ун-т" [и др.]. - М., 2011. - С. 232-239.

71. Портал с фрагментами распозанных движений: Animeeple [Электронный ресурс]. - [2013]. - Режим доступа: http://www.animeeple.com/

72. Портал с фрагментами распозанных движений: Central source [Электронный ресурс]. - [2012]. - Режим доступа: http://www.centralsource.com/blender/bvh/files.htm

73. Портал с фрагментами распозанных движений: MocapData [Электронный ресурс]. - [2013]. - Режим доступа: http://www.mocapdata.com

74. Поспелов, Д.А Структура и функционирование системы моделирования интеллектуального робота// Методы и модели для управления роботами и манипуляторами. - М.: Наука, 1979. - С. 3-11.

75. Поспелов, Д.А. Ситуационное управление: теория и практика / Поспелов Д.А. - М.: Наука, 1986. - 288 с.

76. Постановление правительства РФ от 25 февраля 2003г. N 123 «Об утверждении положения о военно-врачебной экспертизе». Таблица 3 - Таблица оценки объема движений в суставах (в градусах)

77. Применение нечётких темпоральных высказываний для описания движений при эмоциональных реакциях / A.B. Заболеева-Зотова, Ю.А. Орлова, B.JL Розалиев, A.C. Бобков // Изв. ВолгГТУ. Серия "Актуальные проблемы управления, вычислительной техники и информатики в технических системах". Вып. 10 : межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2011. - № 3. - С. 60-64.

78. Программные технологии, использующие нейронные сети [Электронный ресурс]. - [2008]. - Режим доступа: http://masu-1п&гш.ги:8888/^ех.р11р/Программные_технологии,_использующие_нейронные_с ети

79. Развитие системы автоматизированного определения эмоций и возможные сферы применения / A.B. Заболеева-Зотова, Ю.А. Орлова, B.JL Розалиев, A.C. Бобков // Открытое образование. - 2011. - № 2. - С. 59-62.

80. Разработано управление телефоном без прикосновения к экрану [Электронный ресурс]. - [2010]. - Режим доступа: http://www.3dnews.m/news/razrabotano_upravlenie_telefonom_bez_prikosnoveniya_k _ekranu/

81. Растущие деревья классификации и регрессии [Электронный ресурс]. - [2010]. - Режим доступа: http://www.spc-consulting.ru/DMS/BsT.htm

82. Ратанова, Т. А. Субъективное шкалирование и объективные физиологические реакции человека / Т. А. Ратанова ; Науч.-исслед. ин-т общей и педагогической психологии Акад. Пед. Наук СССР. - М. : Педагогика, 1990. -216 с.

83. Решение задачи представления движений в виде нечётких темпоральных высказываний для определения эмоциональных реакций человека / Заболеева-Зотова A.B., Орлова Ю.А., Розалиев B.JI., Бобков A.C. // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2012) : матер. II междунар. науч.-техн. конф. (Минск, 16-18 февр. 2012 г.) / УО "Белорусский гос. ун-т информатики и радиоэлектроники", Админ. парка высоких технологий. - Минск, 2012.-С. 351-354.

84. Робот-ребенок для решения демографической проблемы в Японии Эйнштейна [Электронный ресурс]. - [2010]. - Режим доступа: http://popnano.ru/news/show/2635

85. Роботы учат язык жестов software [Электронный ресурс]. - [2009]. — Режим доступа: http://www.3dnews.ru/news/roboti_uchat_yazik_zhestov/

86. Сапин, М.Р. Анатомия человека. В двух томах. Т.1 / М.Р. Сапин - 5-е издание, перераб. и доп. - М.: Медицина, 2001. - 640 с.

87. Семенов, В.Г. Теоретико-методические основы долговременной адаптации двигательного аппарата спортсменок к циклическим локомоциям: докт. дис. / В.Г. Семенов. - М.: РГАФК, 1997.

88. Симонов, П. В. Эмоциональный мозг. Физиология. Нейроанатомия. Психология эмоций / П. В. Симонов. - М., 1981. - 216 с.

89. Синяева, Ю. Детекторы лица и походки помогут выделить террориста из толпы [Электронный ресурс] / Ю. Синяева. - [2012]. - Режим доступа: http://www.pawlin.ru/content/view/114/

90. Система контроля психоэмоционального состояния человек [Электронный ресурс]. - [2009]. - Режим доступа: http://www.elsys.ru/vibraimage.php

91. Статические и динамические экспертные системы / Э.В. Попов , И.Б. Фоминых ,Е.Б. Кисель, М.Д. Шапот // - М.,Финансы и статистика, 1996. - 211 с.

92. Тарасов, В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. - М.: Эдиториал УРСС, 2002. - 352 с

93. Тарасов, В.Б. Гранулярные структуры измерений в интеллектуальных средах: Васильевские и белнаповские сенсоры и модели их взаимодействия / Тарасов В.Б. // Информационно-измерительные и управляющие системы. - 2013. -Т. 11. -№ 5. -С. 65-74.

94. Тарасов, В.Б. Моделирование взаимодействия робота с внешней средой на основе пространственных логик и распространения ограничений / Тарасов В.Б., Калуцкая А.П. // Программные продукты и системы - 2010. - № 2. -С. 174.

95. Третьяков, Н. Face.com предлагает распознавание эмоций по фотографии [Электронный ресурс] / Н. Третьяков. - [2012]. - Режим доступа: http://net.compulenta.ru/621918/

96. Уткин, В. J1. Биомеханика физических упражнений: Учеб. пособие для студентов фак. физ. воспитания пед. ин-тов и для ин-тов физ. культуры по спец. № 2114 «Физ. воспитание». / В. JI. Уткин. -М.: Просвещение, 1989. - 210 с.

97. Что такое Биологическая Обратная Связь (БОС) [Электронный ресурс]. - [2012]. - Режим доступа: http://www.bosdeti.ru/sdvg-bos.htm

98. Ягер, P.P. Нечеткие множества и теория возможностей: Последние достижения / Под ред. P.P. Ягера. - М.: Радио и связь, 1986. - 408 с.

99. Японские ученые создали "эмо-робота", демонстрирующего человеческие чувства [Электронный ресурс]. - [2009]. - Режим доступа: http://www.rb.ru/topstory/society/2009/06/24/160758.html

100. Ярушкина , Н.Г. Нечёткие Временные ряды как инструмент для оценки измерения динамики процессов / Н.Г. Ярушкина, Т.В. Афанасьева, Т.Р. Юнусов // Датчики и системы. - 2007. - №12. - С. 46-51.

101. Ярушкина, Н.Г. Интеллектуальный анализ данных : учебное пособие / Н. Г. Ярушкина, Т. В. Афанасьева, И.Г. Перфильева. - М. : ИД «ФОРУМ» : ИНФРАМ, 2012.-160 с.

102. Ярушкина, Н.Г. Интеллектуальный анализ данных : учебное пособие / Н. Г. Ярушкина, Т. В. Афанасьева, И.Г. Перфильева. - Ульяновск : УлГТУ, 2010. - 324 с.

103. Ярушкина, Н.Г. Нечеткое моделирование временных рядов и анализ нечетких тенденций / Н. Г. Ярушкина, Т. В. Афанасьева. - Ульяновск : УлГТУ, 2009. - 299 с.

104. A Cultural-Psychological Analysis of Emotions [Электронный ресурс]. -[2000]. - Режим доступа: http://www.humboldtl.com/~cr2/emotion.htm

105. Allen, J.F. Time and Time Again: The Many Ways to Represent Time / J.F. Allen // International Journal of Intelligent Systems, vol. 6, no. 4 (July 1991), pp. 341-355.

106. Amaya, K. Emotion from motion / K. Amaya, A. Bruderlin, T. Calvert // In GI '96: Proceedings of the conference on Graphics interface '96. - Toronto: Canadian Information Processing Society, 1996. - p. 222-229.

107. Approach to formalization of human emotional gestures and movements as fuzzy sequential temporal statements / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Proceedings of the Congress on intelligent systems and information technologies "IS&IT11". Vol. 4 : [аннот. докл.] / SFU [et al.]. - Moscow, 2011.-P. 89.-Eng.

108. Argyle, M. Bodily communication / M. Argyle. - London : Methuen, 1975. -403 p.

109. Atkinson, A.P. Emotion perception from dynamic and static body expressions in point-light and fulllight displays / A. P. Atkinson, W. H. Dittrich, A. J. Gemmell, A. W. Young // Perception, 2004. - vol. 33. - P. 717 - 746.

110. Automated identification of human emotions based on analysis of body movements / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Proceedings of the LADIS International Conferences "Interfaces and Human Computer Interaction and Game and Entertainment Technologies" (Prague, Czech Republic, July 23-26, 2013) - Prague: IADIS (International Association for Development of the Information Society), 2013. - P. 299-304.

111. Automated Identification of Human Emotions by Gestures and Poses [Электронный ресурс] / Bobkov A.S., Petrovsky A.B., Zaboleeva-Zotova A.V., Rozaliev V.L. // 1st BRICS Countries Congress (BRICS-CCI) and 11th Brazilian Congress (CBIC) on Computational Intelligence (BRICS-CCI&CBIC 2013), 8th-llth September 2013 /С CIRG@POLI University of Pernambuco (Brazil) [et al.]. - Porto de Galinhas (Brazil), 2013. - 1 CD-ROM. - Poster No. 28 (P. 1-4).

112. Balan, A. Detailed human shape and pose from images / A. O. Balan, L. Sigal, M. J. Black, J. E. Davis, H. W. Haussecker // IEEE Conference on Computer Vision and Pattern Recognition, 2007. - P. 1-8.

113. Bernhardt, D. Emotion inference from human body motion / D. Bernhardt. - Cambridge : University of Cambridge Computer Laboratory, 2010. - 227p.

114. Biovision BVH Specification [Электронный ресурс]. - [2000]. - Режим доступа: http://www.cs.wisc.edu/graphics/Courses/cs-838-1999/Jeff/BVH.html

115. Bobkov, A. S. Automated Identification of Emotional States / Bobkov A.S., Zaboleeva-Zotova A.V., Rozaliev V.L. // Advances in Decision Technology and Intelligent Information Systems. Vol. XIII : 24th Int. Conf. of Systems Research, Informatics and Cybernetics (July 30 - August 3, 2012, Baden-Baden, Germany) / The Int. Institute for Advanced Studies in Systems Research and Cybernetics. - [Tecumseh], Canada, 2012. - P. 21-25. - Eng.

116. Bvf file format Specification [Электронный ресурс]. - [1999]. - Режим доступа:

http://www.cmis.brighton.ac.uk/staff/alb 14/CI219/Lectures%20&%20Tutorials/assets/B VH.rtf

117. Call-центр, распознающий эмоции [Электронный ресурс]. - [2012]. -Режим доступа: http://itnews.com.ua/27702.html

118. Camurri, A. Analysis of expressive gesture: The EyesWeb expressive gesture processing library / A. Camurri, B. Mazzarino, G. Volpe // 5th International Gesture Workshop: Gesture-Based Communication in HumanComputer Interaction. -Springer, 2004. - P. 469 - 470.

119. Collada Overview [Электронный ресурс]. - [2010]. - Режим доступа: http://www.khronos.org/collada/

120. Combined Tracking and Object Recognition: Tracking Hands [Электронный ресурс]. - [2010]. - Режим доступа: http://cms.brookes.ac.uk/research/visiongroup/trackinghands.php

121. Coulson, М. Attributing emotion to static body postures : Recognition accuracy, confusions, and viewpoint dependence / M. Coulson // Nonverbal Behavior. -2004.-№28.-P. 117-139.

122. Cowie, R. Emotion recognition in human-computer interaction / R. Cowie, E. Douglas-Cowie, N. Tsapatsoulis, G. Votsis, S. Kollias, W. Fellenz, J. G. Taylo // IEEE Signal Processing Magazine. - 2002. - vol. 18. - P. 32- 80.

123. Crane, E.Motion capture and emotion: Affect detection in whole body movement / E. Crane, M. Gross // The Second International Conference on Affective Computing and Intelligent Interaction, 2007. - P.95-101.

124. Detailed analysis of postures and gestures for the identification of human emotional reactions / Bobkov A.S., Dmitriev A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // World Applied Sciences Journal. - 2013. - N 24. Information Technologies in Modern Industry, Education & Society. - P. 151-158.

125. Ekman, P. Facial Action Coding System: A Technique for the Measurement of Facial Movement / P. Ekman, W. Friesen. - L. A. (Calif.) : Consulting Psychologists Press, 1978. - 482 p.

126. Emotional State Recognition Based on the Motion and Posture / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U. A., Rozaliev V.L. // Operations Research and Data Mining, ORADM-2012 : the Workshop, March 12-14, 2012, Cancun, Mexico / Cancun Center for Continuous Education of the National Politechnic Institute (IPN). -Cancun, 2012. - P. 161-169. - Eng.

127. Emotive Alert распознает эмоциональное состояние говорящего. -[Электронный ресурс]. - [2005]. - Режим доступа: http://www.cnews.ru/newsline/index.shtml72005/01/13/172581

128. Fragopanagos, N. Emotion recognition in human-computer interaction // N. Fragopanagos, J. G. Taylor, 2005. - vol. 18.- P.389-405

129. Free demonstration of the capabilities of facereader [Электронный ресурс]. - [2008]. - Режим доступа: http://62.216.20.224/facereader/Default.aspx

130. Fuzzy Approach to Identification of Human Emotions based on Recognition and Analysis of Body Movements / Bobkov A.S., Petrovsky A.B., Zaboleeva-Zotova A.V., Rozaliev V.L. // The 2nd World Conference on Soft Computing (December 3-5, 2012, Baku, Azerbaijan) : proceedings / Ministry of Communications and Information Technologies of the Republic of Azerbaijan. - Baku, 2012.-P. 117-120.-Eng.

131. Gross, M. M. Emotion Recognition from Body Movement Kinematics [Электронный ресурс] / M.M. Gross. - [2006]. - Режим доступа :http://sitemaker.umich.edu/mgrosslab/files/abstract.pdf

132. Gunes, H. From the Lab to the real world: affect recognition using multiple cues and modalitie / H. Gunes, M. Piccardi, M. Pantic // Affective computing: focus on emotion expression, synthesis, and recognition. -Vienna, 2010. - P. 185-218.

133. Hadjikhani, N. Seeing fearful body expressions activates the fusiform cortex and amygdale / N. Hadjikhani, B. De Gelder // Current Biology. - 2003. - № 13. -P. 2201-2205.

134. Hi-tech News. Полный обзор Microsoft Kinect [Электронный ресурс] /Hi-tech. - [2011]. - Режим доступа: http://hitech.mail.ru/review/misc/microsoft_kinect-rev.html

135. Hydra: Portable multi-camera capture facility [Электронный ресурс]. -[2007]. - Режим доступа: http://www.cfar.umd.edU/users/aravinds/research/hydra.html#intro

136. Kusner, I. Automatic Detection of suspicious persons [Электронный ресурс] / Kusner I. - Israel, Haifa. - [2012]. - Режим доступа: http://www.pomidor.co.il/Projects.htm

137. Laban R. The Mastery of Movement / R. Laban, L. Ullmann. - London: Princeton Book Company, 1988. - 316 p.

138. Mamoca turns people into animation [Электронный ресурс]. - 2007. -Режим доступа: http://www.ocregister.com/articles/mamoca-43269-alexander-motion.html

139. Markerless Motion Capture facility [Электронный ресурс]. - [2010]. -Режим доступа: http://www.tnt.uni-hannover.de/project/MoCap/

140. Model for interpreting the temporal fuzzy sequental statements describing the motion of a person / Bobkov A.S., Zaboleeva-Zotova A.V., Orlova U.A., Rozaliev V.L., // Proceedings of the Congress on intelligent systems and information technologies "IS&IT,12". Vol. 4 : [аннот. докл.] / SFU [et al.]. - Moscow, 2012. - P. 28. - Eng.

141. Motion capture for the masses [Электронный ресурс]. - [2010]. - Режим доступа: http://www.ipisoft.com/

142. NeuroSky Brain Computer Interface Technologies [Электронный ресурс]. - [2010]. - Режим доступа: http://www.neurosky.com/

143. Observing emotion in infants: facial expression, body behavior, and rater judgments of responses to an expectancy-violating event / L.A. Camras [et al.] // Emotion.-2002.-№2.-P. 179-193.

144. Organic Motion [Электронный ресурс]. - [2009]. - Режим доступа: http://www.organicmotion.com/solutions

145. Pedrycz W., Gomide F. Fuzzy Systems Engineering: Toward Human-Centric Computing - Hoboken: Wiley-Interscience, 2007.

146. Picard, R.W. Affective Computing / R.W. Picard. - Cambridge: MIT Press, 1997

147. Plutchik, R. Emotions, Evolution, and Adaptive Processes / R. Plitchik // Feelings and Emotions. - N. Y., 1970. - P. 3-24.

148. Project Natal - что это, как работает и почему именно "Натал"? [Электронный ресурс]. - [2009]. - Режим доступа: http://project-natal.ru/articles/5-project-natal-chto-yeto-kak-rabotaet-i-pochemu.html

149. Random Forests Leo Breaiman and Adele Culter [Электронный ресурс].

- 2001. - Режим доступа: http://stat-www.berkeley.edu/users/breiman/RandomForests/cc_home.htm

150. Randomized Trees for Human Pose Detection [Электронный ресурс]. -[2010]. - Режим доступа: http://cms.brookes.ac.uk/research/visiongroup/rf_pose_det/

151. Shan, С. Beyond Facial Expressions: Learning Human Emotion from Body Gestures / C. Shan, S. Gong, P. W. McOwan // British Machine Vision Conference (BMVC'07) September, 2007. - Warwick (UK), 2007. - P. 242-251

152. Siemens снабдила мобильный телефон эмоциями [Электронный ресурс]. - 2005. - Режим доступа: http://www.cnews.ru/newsline/index.shtml72005/04/ll/177070/

153. SMD file Format [Электронный ресурс]. - [2009]. - Режим доступа: http://developer.valvesoftware.com/wiki/SMD_file_format

154. Song, Q. Fuzzy time series and its models / Q. Song, B. Chissom // Fuzzy Sets and Systems. - №54 (1993) - P. 269-277.

155. Sony patents emotion recognition software [Электронный ресурс]. — [2009]. - Режим доступа: http://www.ps3attitude.com/new/2009/08/sony-patents-emotion/

156. Stanford Mechanic Engineering Department BioMotion Laboratory [Электронный ресурс]. - [2009]. - Режим доступа: http://www.stanford.edu/group/biomotion/

157. Temporal Shape-From-Silhoet animation [Электронный ресурс]. - 2003.

- Режим доступа: http://www.cs.cmu.edu/~german/research/TSFS/tsfs.html

158. Van den Stock, J. Body expressions influence recognition of emotions in the face and voice / J. Van den Stock, R. Righart, B. De Gelder // Emotion. - 2007. - № 7.-P. 487-494.

159. Van Hoof, J.A. Facial expressions in higher primates / J.A. Van Hoof // Proceedings of the Symposium of the Zoological Society of London. - 1962. - № 8. -P. 97-125.

160. Wallbott, H. G. Bodily expression of emotion / H. G. Wallbott // European Journal of Social Psychology. - 1998 ,vol. 28. - P. 879-896.

161. Yao, Y.Y Granular Computing Using Neighborhood Systems / Y.Y. Yao // Advances in Soft Computing, Engineering Design and Manufacturing/ Ed. by S.K.Pal et al. - London: Springer, 1999. -P.539-553.

162. Zadeh L.A. Toward a Theory of Fuzzy Information Granulation and its Centrality in Human Reasoning and Fuzzy Logic// Fuzzy Sets and Systems. - 1997. -Vol.90.-P.l 11-127.

163. Zadeh, L.A. Fuzzy Sets / L.A. Zadeh // Information and Control. - 1965, vol. 8.-p. 338-353

Приложение А. Динамическое описание последовательности движений

в виде нечеткого гиперграфа

При разработке графовых моделей последовательных нечетко-темпоральных высказываний, описывающих характерные для эмоционального состояния телодвижения, для представления их в базе знаний интеллектуальной системы необходимо максимальным образом учитывать специфику данных описаний с целью оптимизации структур баз знаний, упрощения процедур анализа базы знаний на полноту и непротиворечивость.

Графовая модель позволяет эксперту, описывающему характерные телодвижения, наглядно представить то движение, которое будет анализироваться программным комплексом. При работе с графом эксперт имеет возможность проанализировать найденные элементарные движения, характерные для эмоциональных проявлений, их длительность, а также значения степени принадлежности эталонного движения к исходному описанию.

В работе [61] представлены рекурентные формулы для расчета граничных точек нечетко-темпоральных событий, отождествляемых с описаниями элементарных движений.

Для того чтобы начать построение нечеткого гиперграфа, связанное с расчетом критерия сходства эталонного описания с исходным распознанным движением, необходимо синхронизировать во времени начало высказывания Ж и тот фрагмент исходного движения к которому данное высказывание имеет отношение.

При интерпретации эталонного описания движения Ж, представленного выражением (А.1), на временной оси исходим из предположения, что началом описания, совпадающим с началом самого первого из входящих в него элементарных описаний, является некоторое нечеткое множество, интерпретируемое в качестве нечеткой точки на временной шкале Т. Обозначим данное множество через ТЫ\¥. В частном случае 7Ж равно и. Тогда, при полностью определенных значениях переменной «Продолжительность»

входящих в выражение (А.1), эталонное описание W допускает однозначную геометрическую интерпретацию на дискретной временной шкале Т 5 отождествленной с кадрами в распознанном движении, в виде ее разбиения на к, следующих друг за другом нечетких интервалов:

2 = {№,)Д(?,)] } (А.1)

»

где TN(qi) и TK(qi) обозначают соответственно нечеткие начальные и конечные границы временных интервала элементарных описаний движений q{. Границы нечеткого интервала интерпретируются в качестве нечетких чисел на шкале Т, которые будем называть нечеткими маркерами начала и конца интервала qj..

Главная особенность геометрической интерпретации эталонных описаний движений, выраженных последовательными высказываниями, является то, что для каждого текущего интервала <?/. его начальная граница TN(qi) совпадает с конечной границей предшествующего интервала TN(qi_i), то есть имеет место

еТ MmqI)(0 = Мтк^О G = 2X-k) (А.2)

?

где №гк(Ч1-\}(0 _ функция принадлежности нечетких маркеров начала и

конца интервала д,- и q^ соответственно.

При заданной начальной границе интервала q{ и нечеткой оценке его длительности Iqi конечная граница определяется как сумма нечетких чисел TN(qi) и lqh то есть

(W,t. g Г) {¡лШ(чП{t.) = V МШч1)(X) &И,ч1 U ~О (А.З)

где А» _ функция принадлежности переменной «Продолжительность» интервала

Маркер начала эталонного высказывания 1У является нечеткая точка 77/И7, начальная граница интервала ^ совпадает с ТНЖ, то есть

Щ е Т Мшш) (А ) = Итш ) (А.4)

?

где №ттг(. О _ функция принадлежности нечеткого начала эталонного высказывания Ж на временной шкале Г.

Выражения (А.2) - (А.4) представляют собой полный набор рекурентных формул для вычисления граничных точек нечеткого разбиения эталонного описания телодвижения Ж, характерного для эмоционального состояния, на временной шкале Т.

Нечетко-темпоральный гиперграф

Последовательные эталонные описания характерных движений удобно представить в виде нечеткого ориентированного гиперграфа [60].

Нечетко-темпоральным моделирующим гиперграфом (НТПГ) для последовательного НТВ Ж называется нечеткий ориентированный гиперграф (А.5) .

вТ„=(Т&т,ТК) (А.5)

т = и\

где <•- множество вершин, равных кадрам в распознанном

видеоизображении ^ ^^; —_ множество нечетких ребер,

отождествленных с переменными «Скорость изменения угла» для эталонного описания ¡V; ТЫ и ТК - нечеткие отношения Гх£)->[0,1] ^

определяющие соответственно истоки и стоки нечетких ребер ^ е @, которые

ОТ

интерпретируются в ж в качестве начальных и конечных границ элементарных описаний, соответствующих значением переменной «Скорость изменения угла»

^. Для каждого ребра 41 ^ нечеткий исток определяется как 4

Рг .(ТК)

нечеткий сток - как й> и вычисляются на основании рекурентных формул (А.2) - (А.4).

Приложение Б. Примеры видеофрагментов телодвижений, характерных для эмоциональных реакций

хМУ! 4084.avi

хМУ! 4084.avi

хМУ! 4085.avi (1)

хМУ1 4085.avi (2)

xMVI_4085.avi (3)

xMVI 4088.avi

xMVI_4057.avi (2)

xMVI 4057.avi (3)

xMVI 4089.avi

xMVI 4088.avi

xMVI 4057.avi (1)

Приложение В. Примеры гранул поз, характерных для эмоциональных реакций

Закрытые неуверенные позы

б^ОпСИанОЗ

6]еБ з1апс105

1п11та1е1а1к01

6jes_stand03

5 stand08

5 standM09

8\у Б^^ОЗ

5 \vaitInLine07

Закрытые уверенные позы

5 Ь8пз81апс1 10

8ш аетсгоББесЮ!

бЮпСЬшгОЗ

Ш \

|i¡ 3

/ у

У

5 OnChair 02

onChair 03

5 bsnsStand 06

intimatetalk 04

6jes_sitOnChair02

sitOnChair02

6jes_stand003

8w_sitting01

8m_sitting03

6j_bsnsStandl0

8W_parkBench

5 OnChair 03

5 IntimateTalk 10

5 standOl

Нейтральные неуверенные позы

Открытые неуверенные позы

Открытые уверенные позы

Нейтральные уверенные позы

6]_1т1та1еТа1к02

6с 81апё02

6с ОпСЬшг02

6C_AngryTalk05

5 Б1ап(1 13

6С^Л^гуТа1к01

5 Ьзп881апс1 02

Приложение Г. Акт о внедрении результатов диссертации

заю»

• ООО ВЦ «Айлант» I ^Д-А- Никель

х^и^гсч_;

; О

Г)

.2011 г.

_ --¡г,;-

О внедрении программной разработки

1. Разработка «Автоматизированная система определения эмоциональных реакций человека по телодвижениям» автора А.С. Бобкова, магистранта кафедры «Системы автоматизированного проектирования и поискового конструирования» Волгоградского государственного технического университета передана в августе 2011 г. для внедрения в процесс конкурсного отбора соискателей и заключения сделок с клиентами ООО ВЦ «Айлант».

2. Объем внедрения: модули автоматизированной системы определения эмоциональных реакций, осуществляющие: анализ движений человека, анализ поз, которые принимает человек, определение двигательной активности, редактирование и просмотр движений и поз, характеризующих эмоциональную реакцию человека, настройку параметров анализа.

3. Назначение разработки - повышение эффективности человеко-компьютерного взаимодействия, за счет автоматизации процесса определения эмоциональных реакций по позам и телодвижениям, предоставляющее возможность компьютеризированным системам легко и эффективно подстраиваться под эмоциональные реакции человека.

4. Разработка применяется в отделе по работе с клиентами ООО ВЦ «Айлант» во время переговоров с поставщиками и клиентами организации, и отделом по работе с персоналом при проведении собеседований с соискателями.

5. Организация ООО ВЦ «Айлант» обязуется не передавать разработку для использования в другие организации.

Руководитель отдела по работе с персоналом

/А.С. Стороженко/

Руководитель отдела по работе с клиентами

/

Исполнитель

/ А.С. Бобков /