Исследование психофизиологического состояния человека на основе эмоциональных признаков речи тема диссертации и автореферата по ВАК РФ 05.11.17, кандидат технических наук Хроматиди, Александра Феодосиевна

• Хроматиди, Александра Феодосиевна
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Хроматиди, Александра Феодосиевна

ВВЕДЕНИЕ.

1. ОБЗОР ЛИТЕРАТУРЫ ПО ПАРАМЕТРАМ РЕЧИ И МЕТОДАМ ЕЕ АНАЛИЗА.

1.1. Технические и лингвистические характеристики речи.

1.2. Методы анализа речевых сигналов.

1.3. Эмоция как классификационный признак психофизиологического состояния человека.

1.4. Выводы по главе 1.

2. МОДЕЛИРОВАНИЕ РЕЧЕВОГО ТРАКТА И РЕЧЕВОГО СИГНАЛА.

2.1. Математическая модель речевого тракта и речевого сигнала.

2.2 Акустическая модель речевого тракта.

2.3. Математическое описание эмоции.

2.5. Выводы по главе 2.

3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ЭМОЦИОНАЛЬНОЙ РЕЧИ.

3.1. Методика и схема эксперимента.

3.2. Результаты экспериментальных исследований и их обработка классическими методами.

3.3. Выводы по главе 3.

4. НЕЛИНЕЙНЫЙ АНАЛИЗ РЕЧИ.

4.1. Анализ речевого сигнала методами нелинейной динамики. Построение фазовых аттракторов.

4.2. Определение характерных показателей динамики речи.

4.3. Выводы по главе 4.

5. ИСПОЛЬЗОВАНИЕ МЕТОДОВ АНАЛИЗА РЕЧИ ДЛЯ ОПРЕДЕЛЕНИЯ ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ

ЧЕЛОВЕКА-ОПЕРАТОРА.

5.1. Обобщенная схема анализа речевого сигнала.

5.2. Результаты анализа речевых сигналов диспетчеров СКЖД.

5.3. Выводы по главе 5.

Введение диссертации (часть автореферата) на тему «Исследование психофизиологического состояния человека на основе эмоциональных признаков речи»

С древних времен речь служила людям средством связи и общения друг с другом.

Попытки понять и изучить ее природу предпринимались давно, еще до нашей эры. Известно, что греческий ученый Пифагор, живший 2,5 тысячи лет тому назад, ставил различные опыты со звуками.

Акустическая информация, используемая при речевой коммуникации, характеризуется двойственной природой: с одной стороны, она материальна, так как распространяется в форме звуковых волн, с другой стороны, она является инструментом, с помощью которого передаются и понимаются мысли партнерами по коммуникации. В этом случае акустическая информация имеет знаковую функцию.

Речевые знаки обладают исключительной силой выражения. Они могут адекватно передавать даже сложнейшие нюансы мышления при условии, что они правильно и хорошо сформулированы и что слушатель обладает способностью воспринимать их [9,25,28-29,96]. Эта форма передачи внутренних состояний мыслительного сознания одного партнера другому называется рациональной функцией речи. Кроме того, у речи есть еще вторая, эмоциональная функция. Ей и будет посвящена эта диссертация. Когда речь используется в целях коммуникации, то между говорящим и слушающим как будто бы строится мост, с помощью которого выражается сиюминутное эмоциональное состояние говорящего.

Коммуникативная природа речи должна предполагать инвариантное выражение эмоциональных состояний говорящего. Выделяют следующие характерные признаки эмоциональных высказываний: особая контрастность по высоте основного тона, причём максимум контрастности при выражении изумления, динамичность произнесения, увеличение времени высказывания. Существуют преимущественно логические, эмоциональные и волевые интонации [5,11,17,18,79,95]. Акустический анализ речи позволяет выделить формантные параметры и слоговые изменения. Эксперименты показали, что, несмотря на широкий диапазон изменений интонации, в ней сохраняются постоянные структуры-интонемы - как элементы коммуникации: вопрос, повеление, угроза, совет, сожаление и другие. Отмечена важность изучения именно "живой речи", а не отдельно произнесённых слов вне всякого контекста и ситуации. Одним из методов такого исследования является обращение к актёрской речи.

В данной диссертации также большая роль отводится нелинейному анализу экспериментальных данных. Интерес к такому подходу в решении задач речевой акустики имеет всевозрастающее значение. В данной работе ставится вопрос о возможности определения эмоций методами нелинейной динамики. Окружающий нас мир полон нелинейных явления и процессов, правильное представление о которых немыслимо без понимания возможности хаоса, а так же связанных с этим принципиальных ограничений на предсказуемость поведения сложных систем. Одно из направлений применения методов нелинейной динамики связано с проблемой обработки сигналов. За последние годы были предложны методики, позволяющие выяснить, произведен ли сигнал динамической системой, а так же получить информацию о свойствах и характеристиках этой системы. Таким образом, аппарат нелинейной динамики является инструментом исследования, позволяющим сделать заключение или предположение о структуре объекта, сконструировать его динамическую модель и т.д. Разработку методов и алгоритмов анализа сигналов можно считать важным направлением нелинейной динамики, непосредственно связанным с возможными приложениями.

Изучение речевых сигналов проводились многими исследователями и организациями. Наибольший вклад в теорию внесли Фант Г., Витт Н.В., Вилюнас В.К., Сорокин В.Н., Симонов П.В., и др. Экспериментальные исследования были выполнены Фроловым М.В., Таубкиным В.Л., Рейковским Я. и др. Разработаны множество приборов для анализа речи, например, анализатор эмоциональной речи, измеритель интенсивности речевых высказываний и др. В том числе в ОКБ «Ритм» и на кафедре электрогидроакустической и медицинской техники ТРТУ в настоящее время проводятся совместные исследования по выявлению возможности анализа психофизиологического состояния человека-оператора с помощью его речи. Результаты исследований вошли составной частью в данную диссертационную работу.

Диссертация состоит из 5 глав, введения, заключения, библиографического списка и приложений.

В первой главе был проведен обзор литературы по параметрам речи и методам ее анализа. Рассматривались технические и лингвистические характеристики речи. Описывались психодиагностические типы голоса: голос как непосредственная данность, голос как объективация речи на акустическом уровне и опосредованная им устная речь. Поскольку разделить их довольно сложно, то проводилось поэлементное, признаковое описание. Это описание содержит габитусные, процессуальные, формальные и дополнительные характеристики. Так же большое внимание в первой главе уделялось изучению методов анализа речевых сигналов. Рассмотрены виды речевой диагностики, такие как непосредственный анализ речи (непосредственный контакт с испытуемым), слепой анализ речи (прослушивается «живая речь», без наблюдения испытуемого) и косвенный анализ (исследование записи речи). Поскольку в данной диссертации акцент делается на эмоциональную речь, то в обзоре литературы также внимательно изучалась связь акустических параметров речи с ее эмоциональной выразительностью.

Во второй главе рассматриваются математические и акустические модели речевого тракта и речевого сигнала. На основе методов физической акустики и электромеханических аналогий рассмотрены и проанализированы свойства акустических процессов в речевом тракте. Теория процесса была разработана применительно к динамике речи, которая учитывает податливость стенок речевого тракта, переменные граничные условия со стороны как губ, так и голосовых складок, изменения во времени площади поперечного сечения речевого тракта, взаимодействие голосового источника с речевым трактом и т.д. Детально изучались механизмы возбуждения акустических колебаний, рассматривались источники акустической энергии, интенсивность звуковых колебаний, частотная фильтрация в речевом тракте. Проведено математическое описание речевого сигнала. Построена модель речевого сигнала, позволяющая имитировать различные звуки.

Третья глава отражает экспериментальную часть данной диссертации. Она включает в себя методику и схему эксперимента, результаты исследований и их последующий анализ с выдачей рекомендаций по распознаванию эмоциональных состояний человека. В данной главе затронуты вопросы возможности стимулирования эмоциональных состояний у студентов. Для подобного рода исследований, в качестве эмоциональных стимулов применяются самые разные воздействия, важно, чтобы они были достаточно значительными для испытуемых. Также, глава 3 рассматривает пути, по которым можно проследить связь речевых параметров с индивидуальными и эмоциональными характеристиками. Первый путь - от анализа состояний и изменений в организме, вызываемых изменениями в состоянии к речевому сигналу. Второй - поиск связи между характеристиками речевого сигнала и состоянием говорящего. Анализ полученных экспериментальных данных состоял из нескольких этапов и включал в себя спектральный, фонетический и статистический виды анализа.

В четвертой главе описываются методы нелинейного анализа речевых сигналов. Применение методов нелинейной динамики было связано с недостаточной информативностью «классического» анализа. Поэтому введение дополнительных критериев позволило с большей точностью оценивать результаты экспериментальных исследований. Критерии, по которым происходила оценка эмоциональной речи, включают в себя, Ляпуновский с* спектр, размерность Каплана-Иорка, а так же построение фазовых портретов.

В пятой главе рассматривались возможности использования методов анализа речи для определения психофизиологического состояния человекаоператора. В частности, исследовалась возможность построения автоматизированной системы анализа. С помощью методик, разработанных в главе 3, проанализирована речь диспетчеров СКЖД.

Библиографический список данной диссертации состоит из 122 наименований.

Приложения представляют собой: тест-опросник, выдававшийся студентам перед проведением эксперимента, уровнеграммы полученных речевых сигналов, восстановленные фазовые пространства речевых сигналов, а также справки о внедрении основных результатов диссертационной работы.

Таким образом, в диссертации защищаются следующие научные положения:

1. Модели речевого тракта и речевого сигнала человека, учитывающие эмоциональную составляющую речи.

2. Классификационные признаки эмоций, полученные при обработке результатов экспериментальных исследований эмоциональной речи.

3. Результаты анализа речевого сигнала методами нелинейной динамики, хаотическая природа эмоциональной речи, основные нелинейные показатели (размерности, спектр Ляпунова).

4. Функциональная схема анализатора психофизиологического состояния человека-оператора на основе его речевых высказываний.

Заключение диссертации по теме «Приборы, системы и изделия медицинского назначения», Хроматиди, Александра Феодосиевна

5.3. Выводы по главе 5

В соответствии с исследованием, проведенными в рамках главы 5, можно сделать следующие выводы:

• для анализа психофизиологического состояния человека необходимо использовать комплексную систему оценки множества параметров организма, в которой особую роль играет речевой канал получения информации.

• речевой канал, в силу бесконтакности, является наиболее естественным и удобным для первоначальной оценки эмоционального состояния человека-оператора.

• построена функциональная схема анализатора речи, которая включает блоки регистрации, преобразования в цифровой вид и блоки анализа, в соответствии с методиками, разработанными в главе 3.

• анализ речевых сигналов диспетчеров железной дороги, записанных непосредственно в оперативной обстановке показал пригодность разработанных методик.

ЗАКЛЮЧЕНИЕ

Подробные выводы по результатам диссертационной работы приведены в конце каждой главы. Подводя общий итог диссертационной работы можно сделать следующие основные выводы и заключения:

1. Рассмотрены важнейшие характеристики речи: габитусные (природные), процессуальные, формальные, а также дополнительные. Были изучены методы анализа эмоциональной речи, такие как, метод динамической спектрографии, нелинейный и др. Было приведено определение эмоции, их классификация, представлен перечень функций. Основной упор был сделан на изучение проявления эмоций в речи человека-оператора. Сформулированы следующие выводы: при оценке состояния человека оператора необходимо учитывать не только сугубо индивидуальные характеристики изменения в семантической и спектральной структуре речевых высказываний, но и особое внимание уделять психологическим, мотивационным аспектам речевой активности, возможности маскировки эмоциональных реакций. Помимо этого необходимо учитывать влияние на структуру речи экстремальных факторов внешней среды (например, шумов, вибраций, перегрузок и т.д.), особенностей операторской деятельности и межличностных отношений между лицами, участвующими в обмене речевой информацией.

2. Исследованы возможности моделирования речевого тракта и речевого сигнала. Получена акустическая модель речевого тракта, а так же вычислены ее параметры. Описана математическая модель речевого тракта, полученная на основе волнового уравнения. Рассмотрены вопросы моделирования речевого сигнала. Детально изучены механизмы возбуждения акустических колебаний, рассмотрены источники акустической энергии, интенсивность звуковых колебаний, частотная фильтрация в речевом тракте. Приведено математическое описание речевого сигнала, рассчитаны резонансные частоты речевого тракта, которые составили: первая резонансная частота находится в диапазоне 150 - 200 Гц, вторая — 200-1470 Гц, третья — 5003040 Гц.

3. Установлено, что активно переживаемые эмоции («радость», «восторг» и т.д.) сопровождаются, как правило, увеличением амплитуды речевого сигнала. Спектр речевого сигнала деформируется и имеет тенденцию к смещению. При этом наблюдается концентрация спектра в низкочастотной зоне при отрицательных эмоциях, и в высокочастотной - при положительных. Частота основного тона увеличивается при сильных эмоциях на 200-300% по отношению к состоянию покоя. Наблюдается появление модуляции (изрезанности) в мелодике основного тона. Огибающие слов претерпевают существенную деформацию, становятся более изрезанными. Формантная структура речи изменяется. Значения формантных частот и ширина полосы формантных зон увеличиваются на 100—200% при сильных эмоциях. Изменяется темп речи и соотношения между временем интонирования и паузами в тексте. Обнаружена статистическая зависимость между различными эмоциями и длительностью произносимых слов, а также интенсивностью, ЧОТ и первыми двумя формантами.

4. Расчет спектра Ляпунова для имеющихся речевых сигналов выявил, что первый показатель спектра всегда положителен, что свидетельствует о хаотической природе речи.

Анализ геометрии полученных фазовых портретов (аттракторов) показал, что каждому эмоциональному состоянию человека соответствует определенная геометрия аттрактора. Причем она не зависит от индивидуальности голоса, поэтому может служить классификационным признаком психофизиологического состояния испытуемого.

Также был произведен расчет размерности Каплана-Йорка, являющейся информационной размерностью аттрактора. Ее максимальное значение находится в пределах от 2,8 до 3,1 и соответствует эмоции "гнев", а минимальное значение от 1,3 до 1,6 соответствует состоянию "спокойствие".

Таким образом, размерность Каплана-Иорка может служить количественной мерой эмоционального состояния человека.

Параметры речи, исследуемые с помощью методов нелинейной динамики, могут служить в качестве уточняющей оценки психофизиологического состояния человека.

По результатам диссертационной работы опубликовано 13 статей и тезисов докладов в различных научных сборниках.

Акты о внедрении результатов диссертационной работы в ЗАО ОКБ «Ритм» и в учебный процесс кафедры ЭГА и МТ ТРТУ содержатся в Приложениях 1 и 2.

Автор выражает глубокую благодарность: научному руководителю, доктору технических наук, профессору, Захаревичу Владиславу Георгиевичу за постоянное внимание к работе и ценные указания; научному консультанту, кандидату технический наук, доценту кафедры ЭГА и МТ (электрогидроакустической и медицинской техники ТРТУ), Старченко Ирине Борисовне за постоянную поддержку ; начальнику отдела ЗАО ОКБ «Ритм», Слива Сергею Семеновичу за сотрудничество по внедрению результатов исследований; коллективу кафедры ЭГА и МТ ТРТУ; своим родителям за помощь и поддержку.

Список литературы диссертационного исследования кандидат технических наук Хроматиди, Александра Феодосиевна, 2005 год

1. Аблазов В.И. Преобразование, запись и воспроизведение речевых сигналов. К.: Лыбидь, 1991г. 206с.

2. Алдошина И. Основы психоакустики. Слух и речь // Звукорежиссер, 2002г. №4.

3. Анализ речевых сигналов человеком. / Под ред. Э.А. Арутюняна. Л.: Наука, 1971г.-216с.

4. Анищенко B.C., Вадивасова Т.Е., Астахов В.В. Нелинейная динамика хаотических и стохастических систем. Саратов: Изд-во Саратовского унта, 1999г.-368с.

5. Анохин П. К. Эмоции / БМЭ. 2-е изд. М., 1964. Т. 35.

6. Бажин Е. Ф. и др. Объективная диагностика эмоционального состояния в психиатрической клинике // Матер. Всес. симп. «Речь и эмоции».- Л., 1974.- С. 69-74.

7. Батаршев A.B. Темперамент и характер: Психологическая диагностика. — М.: Изд-во ВЛАДОС-ПРЕСС, 2001 336с.

8. Бехтерева Н. П., Смирнов В. М. Мозговая организация эмоций человека //Вестн. АМН СССР. 1975.- № 8.- С. 8-19.

9. Бодалёв A.A. Восприятие человека человеком. Л.: Изд-во Ленинградского университета, 1965г. 123с.

10. Боровиков В. Statistical искусство анализа данных на компьютере. Для профессионалов. Спб.: Питер, 2001г. — 656с.

11. Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологической диагностике.- Киев: Наукова думка, 1989.- 200 с.

12. Вартанян Г. А., Петрова Е. С. Эмоции и поведение.- Л.: Наука, 1989.- 145 с.

13. Ведяев Ф. П., Воробьева Т. М. Модели и механизмы эмоциональных стрессов.- Киев.: Здоров'я, 1983.- 136 с.

14. Вилюнас В. К. Психология эмоциональных явлений.- М.: МГУ, 1976.143 с.

15. Винцюк Т.К. Анализ, распознавание и интерпретация речевых сигналов. Киев: Наук. Думка, 1997г. - 264с.

16. Витт Н.В. Речь и критическая ситуация. «Предварительные материалы экспериментальных исследований по психолингвистике». М., 1973г.

17. Витт Н.В. Эмоциональная регуляция речевого поведения // Вопр. психол. 1981. №4. С. 60-69.

18. Галунов В.И. Речь, эмоции и личность: проблемы, перспективы // Речь, эмоция и личность: материалы и сообщения Всесоюзного симпозиума. Л., 1978.

19. Галунов В. И., Манеров В. X. Пути решения проблемы создания систем определения эмоционального состояния говорящего //Вопр. кибернетики. Вып. 22.- М., 1976.-С. 95-114.

20. Галунов В.И., Манеров В.Х. Связь между психофизиологическим состоянием говорящего и характеристиками речевого сигнала. Тезисы доклада VIII Всес. семинара по автоматизированному распознаванию слуховых образов. Львов, 1974г.

21. Гиссен Л. Д. Время стрессов.- М.: ФиС, 1990.- 190 с.

22. Горбунова И.М. Анализ речевых сигналов человеком. Проблемы физиологической акустики. Том 7. Л.: Наука, 1971г. — 216с.

23. Грекова Т. И. Кожно-гальванический рефлекс как показатель изменений психического состояния //Физиология человека.- 1975.- Т. 1.- № 6.- С. 993-998.

24. Губачев Ю. М., Иовлев Б. В., Карвасарский Б. Д. Эмоциональный стресс в условиях нормы и патологии человека.- Л.: Медицина, 1976.- 224 с.

25. Дашкова С.С. Устная речь как источник информации о человеке: Автореф. канд. дис. Л., 1982.

26. Дженкис Г., Ватте Д. Спектральный анализ и его приложения, вып. 2, М.: 1972г.27.28,29,3031,32,33,34