Сравнение критериев оценки качества пакетной передачи речи методами аналитического и имитационного моделирования тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Карпов, Андрей Викторович

• Карпов, Андрей Викторович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Карпов, Андрей Викторович

ОСНОВНЫЕ СОКРАЩЕНИЯ И ОБОЗНАЧЕНИЯ

ВВЕДЕНИЕ

1 .ОБЗОР КРИТЕРИЕВ ОЦЕНИВАНИЯ КАЧЕСТВА РЕЧИ

1.1. Категории речи

1.2. Артикуляционные испытания

1.3. Объективные методы оценки разборчивости не 16 усиленной речи

1.4.Объективные методы оценки разборчивости усиленной

1.5. Сравнение объективных методов оценки разборчивости

1.6. Оценка качества речи по ГОСТу 50840

1.7.Выводы 37 2.ПРИЛОЖЕНИЕ КРИТЕРИЕВ КАЧЕСТВА ВОССТАНОВЛЕНИЯ РЕЧИ К ОЦЕНИВАНИЮ КАЧЕСТВА ЕЕ ПАКЕТНОЙ ПЕРЕДАЧИ

2.1. Особенности пакетной передачи речи (на примере IP- 38 телефонии)

2.2. Оценка качества восстановления речи по критерию отношения сигнал/шум

2.3. Оценка качества восстановления речи по критериям разборчивости

2.4. Оценка качества восстановления речи по критерию MOS

2.5. Оценка качества восстановления речи по критериям Е- 50 модели

2.6.Выводы 59 3 .АНАЛИТИЧЕСКОЕ ОЦЕНИВАНИЕ КАЧЕСТВА 60 ВОССТАНОВЛЕНИЯ РЕЧИ В IP-ТЕЛЕФОНИИ

3.1 Оценка качества IP-телефонии по критерию отношения 60 сигнал/ шум

3.2 Оценка качества IP-телефонии по критериям MOS и Е- 63 модели

3.3 Сопоставление оценок качества IP-телефонии 65 ЗАВыводы

4. ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ ПРИ ОЦЕНИВАНИИ КАЧЕСТВА ВОССТАНОВЛЕНИЯ РЕЧИ В IP-ТЕЛЕФОНИИ 74 4.1 Сопоставление оценок качества восстановления речи в IP-телефонии, полученных с использованием имитационного и аналитического моделирований

4.2. Сопоставление оценок качества восстановления активного состояния речи в IP-телефонии, полученных с использованием имитационного и аналитического моделирований

4.3. Сопоставление оценок качества восстановления звуковых файлов эталонных слоговых таблиц с использованием имитационного и аналитического моделирования потери пакетов и процесса восстановления

4.4. Выводы

5. СОПОСТАВЛЕНИЕ ОБЪЕКТИВНЫХ И СУБЪЕКТИВНЫХ ОЦЕНОК КАЧЕСТВА РЕЧИ ПРИ АНАЛИТИЧЕСКОМ И ИМИТАЦИОННОМ МОДЕЛИРОВАНИИ ЕЕ ПАКЕТНОЙ 83 ПЕРЕДАЧИ

5.1 Сопоставление объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц при имитационном и аналитическом моделированиях потери пакетов 83 и процесса восстановления

5.2. Сопоставление зависимостей слоговой разборчивости от отношения сигнал/шум, полученных с использованием объективных и субъективных методов оценивания качества восстановления речи

5.3. Выводы

Введение диссертации (часть автореферата) на тему «Сравнение критериев оценки качества пакетной передачи речи методами аналитического и имитационного моделирования»

Актуальность темы. Развитие современных телекоммуникационных технологий и, в частности, IP-телефонии, связано с пакетной передачей речевой информации [1,35-43,58-60,67-75,81,84,85]. При этом на приемной стороне возможно возникновение коротких пауз в речи вследствие потери речевых пакетов в IP-сетях из-за невозможности переспрашивания. Плохое качество каналов связи и перегрузки в сетях приводят к частым потерям речевых пакетов, что, в свою очередь, вызывает ухудшение разборчивости, а иногда и полную невозможность речевого общения.

Искажение речевой информации, вызванное потерей речевых пакетов, зависит от типа кодеков, применяемых в шлюзах IP-сети. От потери пакетов качество речи в большей степени зависит при использовании низкоскоростных кодеков по сравнению с высокоскоростными кодеками. Принято считать, что в IP-телефонии хорошего качества допустимый уровень потери пакетов может составлять 1-3%, причем меньшее значение относится к низкоскоростным кодекам, а большее - к высокоскоростным.

Для сравнительной оценки качества передаваемой речевой информации разработаны различные методы.

Одним из них является метод MOS (Mean Opinion Score), характеризующий усредненный показатель мнений о качестве и представленный в Рекомендациях ITU-T Р.800 и Р.830 [8].

Другим методом оценки является использование единиц рейтинга R (Quality Rating) по сто балльной шкале. Международным союзом электросвязи была предложена Е-модель, описанная в рекомендации ITU-T G.107 [9], для расчета рейтинга R. Между MOS и R существует зависимость, представленная в [9].

Традиционным является метод, использующий критерий отношения сигнал/шум (ОСШ) на выходе воспроизводящего устройства и разборчивости [52-54,76,79].

Как будет показано ниже, существуют замечания, касающиеся как определения показателя R в Рекомендациях ITU-T, так и по поводу существенной несогласованности оценок качества пакетной передачи речи, предоставляемых критериями MOS и Е-модели и критериями ОСШ и разборчивости.

В связи с изложенными проблемами развития телекоммуникационных технологий анализ различных критериев оценки качества пакетной передачи речевой информации методами аналитического и имитационного моделирования представляется важной и актуальной научно-технической задачей.

Цель работы состоит в совершенствовании методики и критериев оценивания качества пакетной передачи речи путем использования аналитического и имитационного моделирований, выяснении физической сути различных подходов, используемых для оценки качества и выработке необходимых рекомендаций для практического применения используемых методов.

Реализуется следующая последовательность решения задач диссертационной работы:

1.Аналитический обзор критериев оценивания качества речи и их приложений к оцениванию качества пакетной передачи речевой информации.

2.Аналитическое оценивание качества восстановления речи в IP-телефонии по критерию отношения сигнал/ шум и критерию MOS и Е-модели.

3.Оценивание качества восстановления речи в IP-телефонии на основе использования имитационного моделирования процессов потери пакетов речи и процессов ее восстановления.

4.Сопоставление объективных и субъективных оценок качества речи при аналитическом и имитационном моделировании ее пакетной передачи.

Исходная основа диссертации. Диссертация основывается на результатах:

- фундаментальных работ теории информации В.А.Котельникова, Н.Винера, К. Шеннона и др.

- теоретических и прикладных исследований по цифровой обработке и передаче непрерывных речевых со общений Дж. Беллами, А.И.Величкина, М.Д.Венедиктова, Г.В.Вемяна, В.Н.Гордиенко, Г.В.Горелова, А.Г.Зюко, Г.В. Кузнецова, М.В. Назарова, В.А.Лёвина, И.А.Лозового, Н.И.Пилипчук, О.Н.Ромашковой (Луковой), И.А.Шалимова, А.Ф. Фомина и др.

- теоретических и прикладных исследований цифровых средств и систем передачи информации Л.А.Баранова, Л.Рабинера, А.П.Мановцева, В.П.Яковлева и др.

Методы исследования. В работе использованы методы теории вероятностей, математического анализа, статистические методы обработки экспериментальных данных.

Научная новизна. Степень научной новизны диссертации определяется тем, что она развивает теорию восстановления речевых сообщений при их пакетной передаче при комплексном использовании аналитического и имитационного моделирований, объективных и субъективных оценок качества речи.

Практическая ценность разработанных в диссертации математического аппарата и методов имитационного моделирования заключена в предоставленной возможности получения объективных результатов оценки качества речи, использованных при анализе и проектировании конкретных цифровых систем пакетной передачи речевой информации.

Заключение диссертации по теме «Теоретические основы информатики», Карпов, Андрей Викторович

5.3. Выводы

1 .При сопоставлении (по критериям разборчивости и класса качества) объективных и субъективных оценок качества восстановления звуковых файлов эталонных слоговых таблиц в условиях имитационного и аналитического моделирования потери пакетов и процесса восстановления, определена достаточно высокая степень точности используемых методов аналитического моделирования и достаточно высокая степень точности оценок, получаемых при определении качества IP-телефонии по критериям отношения сигнал/ шум и разборчивости.

Относительная разность объективных оценок разборчивости, полученных в результате имитационного и аналитического моделирования составляет от 6,1% (при значении 3% вероятности потери пакета) до 14,4% (при значении 10% вероятности потери пакета).

Относительная разность объективной и субъективной оценок разборчивости, полученных в результате имитационного моделирования составляет от 1,04% (при значении 3% вероятности потери пакета) до 23,8% (при значении 10% вероятности потери пакета).

2. Сопоставлением аналитической и субъективной оценок слоговой разборчивости определена достаточная степень точности известной аналитической зависимости разборчивости речи от отношения сигнал/шум на выходе воспроизводящего устройства. Относительная разность этих оценок уменьшается по мере уменьшения отношения сигнал/шум с 0,2% (при ОСШ=9,1 дБ) до 14,5% (при ОСШ=5,7 дБ). Степень точности становится недостаточной при не используемых на практике значениях отношения сигнал/шум, соответствующих неудовлетворительному качеству воспроизведения речи.

ЗАКЛЮЧЕНИЕ

На основании выполненных исследований получены следующие результаты и выводы.

1. При исследовании систем пакетной передачи речи с применением высокоскоростных кодеков не применима методика, использующая систему критериев «MOS - рейтинг R»; методика, использующая систему критериев «разборчивость - отношение сигнал/шум» предоставляет адекватные оценки качества.

2. В Е-модели Рекомендации ITU-T G.107 используется рейтинг R (Quality Rating), который по своей сути является отношением сигнал/шум по мощности. В рекомендациях ITU-T G.107, G.108 это обстоятельство не фиксируется. Ни R, ни базовый коэффициент Ro (который в той же рекомендации ITU-T G.107 в начале определяется как отношение сигнал/шум по мощности в децибелах) не выражаются в децибелах, как и ряд остальных поправочных коэффициентов в составе рейтинга R.

3. Е-модель использует весьма грубую аппроксимацию зависимости отношения сигнал/шум от вероятности потери пакета. Кроме того, мощность шумов, вызванных потерей пакетов, предполагается зависящей от мощности сигнала. В результате при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков использование системы критериев «MOS - рейтинг R» приводит к завышению практически в три раза оценки допустимой вероятности потери пакета.

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при вероятности потери пакета рп <0,03. Система критериев «MOS - рейтинг R» Е-модели дает оценку хорошего качества (MOS=3,5 и R= 68) при рп=0,1.

Для низкоскоростных кодеков использование системы критериев «MOS - рейтинг R» напротив приводит к занижению оценки допустимой вероятности потери пакета.

4. Практически точную оценку допустимого значения вероятности потери пакета при исследовании систем пакетной передачи речи с применением высокоскоростных кодеков предоставляет методика, основанная на системе критериев «разборчивость - отношение сигнал/шум».

Хорошее качество IP-телефонии при использовании высокоскоростных кодеков обеспечивается при рп <0,03. При значении рп =0,03 оценка отношения сигнал/шум составляет ОСШ=12,22 дБ при известной нижней границе ОСШ=12дБ градации хорошего качества.

5. При сопоставлении оценок качества IP-телефонии (по критерию ОСШ), полученных с использованием имитационного и аналитического моделирований показана высокая степень их совпадения. Относительная разность оценок составляет 1,1% для рп =0,01 при моделировании отбраковки одиночных пакетов. При моделировании с учетом отбраковки нескольких пакетов подряд относительная разница составляет 3,2% (для рп =0,01).

При имитационном моделировании нет необходимости в специальном учете отбраковки пакетов на интервалах пассивного состояния речи. При одном и том же механизме отбраковки для исходной реализации речевого сигнала и реализации, полученной из исходной путем удаления фрагментов пассивного состояния речи относительная разность оценок качества (по критерию ОСШ) составила 0,06% (для рп=0,01).

6. При сопоставлении объективных и субъективных оценок (по критериям разборчивости и класса качества) качества восстановления звуковых файлов эталонных слоговых таблиц в условиях имитационного и аналитического моделирования потери пакетов и процесса восстановления, определена достаточно высокая точность используемых методов аналитического моделирования и достаточно высокая степень точности оценок, получаемых при определении качества IP-телефонии с применением системы критериев «разборчивость - отношение сигнал/шум».

Относительная разность объективных оценок разборчивости, полученных в результате имитационного и аналитического моделирования составляет 6,1% (при рп=0,03). Относительная разность объективной и субъективной оценок разборчивости, полученных в результате имитационного моделирования составляет 1,04% (при рп =0,03).

7. При комплексном использовании методов имитационного моделирования и артикуляционных измерений определена достаточно высокая точность известной аналитической зависимости разборчивости речи от отношения сигнал/шум на выходе воспроизводящего устройства. Относительная погрешность составляет 0,2% при ОСШ=9,1 дБ. Точность становится недостаточной в области не используемых на практике значений ОСШ, соответствующих неудовлетворительному качеству воспроизведения речи.

Список литературы диссертационного исследования кандидат технических наук Карпов, Андрей Викторович, 2007 год

1. Горелов Г.В. Алгоритм Burst aloha в статистическом уплотнении аудио-информационных сигналов. "ЛОКСЕТЬ 90", Рига, 1990.- с.38-41.

2. Горелов Г.В. Качество воспроизведения речи в стохастических цифровых системах передачи.//Автоматика и вычислительная техника. 1993 .-N5. с.40-43.

3. Горелов Г.В., Казанский Н А., Лукова О. Н. Методика оценки качества пакетной передачи речи в интегральных цифровых сетях. Электросвязь, № 9. 1992, с. 31-33.

4. Горелов Г.В., Ромашкова О.Н., Чан Туан Ань. Качество управления речевым трафиком в телекоммуникационных сетях. М.: Радио и связь, 2001 5.ISO/TR 4870: 1991: Acoustics. The construction and calibration of speech intelligibility tests.

5. Горелов Г.В., Казанский H.A., Лукова О.Н.Оценка качества различных методов восстановления речи в цифровых сетях с коммутацией пакетов речи и данных. Автоматика и вычислительная техника. 1993. N4 с.77-78

6. ITU-T Recommendation G.107 (07/2002). The E-Model, a computational model for use in transmission planning.

7. ETSI ETR 250 (07/1996). Transmission and Multiplexing (TM); Speech communication quality from mouth to ear for 3,1 kHz handset telephony across networks.

8. ITU-T Recommendation G.108 (09/99): Application of the E-model: A planning guide.

9. ITU-T Recommendation G.113 Appendix I (05/2002): «Provisional planning values for the equipment impairment factor Ie and packet-loss robustness factor Bpl. Transmission impairments.

10. Вемян Г.В. Передача речи по сетям электросвязи. М.: Радио и связь, 1985.

11. Пчелинцев А.В. Разработка методики оценки качества восстановления речи на фоне шумов, коррелированных с речевым сообщением. Диссертация на соискание ученой степени кандидата технических наук. Москва. 2003.

12. CCITT Contribution Com.XII-N. Study period, vol. V, Q 1S/XII, Annex 3,4.

13. Горелов Г.В., Моторина Е.Г., Подворный П.В., Карпов А.В. Качество IP-телефонии по радиолинии, организованной по технологии Radio-Ethernet с использованием триаксиального излучающего кабеля. Автоматика, связь, информатика.- 2005.-№7.-С.15.

14. Карпов А. В. и др. Актуальные вопросы исследования телекоммуникационных систем и сетей.//Advances in Electrical and Electronic Engineering. Словакия Жилина.-2006.-№3

15. Моторина Е.Г. Качество IP-телефонии при мобильном доступе стандарта IEEE 802.11 Radio-Ethernet с использованием излучающего кабеля. Диссертация на соискание ученой степени кандидата технических наук. Москва. 2006.

16. How Delay and Packet Loss Impact Voice Quality in VoIP. Choon Shim, Liehue Xie, Bryan Zhang, C.J. Sloane. http://www.qovia.com. 2003

17. Левин В.А.Система информационного взаимодействия на железнодорожном транспорте с применением 1Р-телефонии. Диссертация на соискание ученой степени кандидата технических наук Москва-2003.

18. Defense standard 00-25 (part 9)/Issue 1. Human factors for designers of equipment. Part 9: Voice communication.

19. ANSI S3.2-1989. Method for Measuring the Intelligibility of Speech over Communications System.

20. ISO/TR 4870:1991: Acoustics. The construction and calibration of speech intelligibility tests.

21. Sami Lemmetty. "Master's Thesis: Review of Speech Synthesis Technology". HELSINKI UNIVERSITY OF TECHNOLOGY. Laboratory of Acoustics and Audio Signal Processing. 1999

22. ANSI S3.14-1977 (R 1997) American National Standard for Rating Noise with Respect to Speech Interference.

23. ISO/TR 3352 -1974. Acoustics Assessment of noise with respect to its effect on the intelligibility of speech.

24. Каргашин В. JI. «Совершенствование методических принципов оценки защищенности помещений от утечки речевой информации». Специальная техника №

25. IEC 60268-16 Ed. 1.0 b-1988: Sound system equipment. Part 16: The objective rating of speech Intelligibility.

26. Железняк В. К., Макаров Ю. К., Хорев А. А., «Некоторые методические подходы к оценке эффективности защиты речевой информации». Специальная техника № 6. М-2000.

27. Кученков Е. Б. «Подходы к разработке методики оценки защищенности ВТСС». Специальная техника №1. М-2002.

28. IEC 60849 Ed. 1.0 b-1989: Sound systems for emergency purposes.

29. ANSI S3.5-1969 American National Standard Methods for the Calculation of the Articulation Index.

30. J. S. Bradely, C. Wang. "Speech privacy in open-plan offices: I-Systematic measurements." Acoustic society of America. Meeting in Chicago. 2001.

31. Галичский К. Компьютерные системы в телефонии. СПб. BHV-Санкт-Петербург, 2002

32. Беллами Д.К. Цифровая телефония, М. Эко-трендз, 2004

33. Байрен Дж. Передача речи по сетям Frame Relay // Сети и системы связи. 1996. № 7.

34. Берлин А.Н. Устройства, системы и сети коммутации. — СПб.: Петеркон, 2003.

35. Галичский К, Компьютерные системы в телефонии. Серия «Мастер систем». — СПб.: ВНУ-Санкт-Петербург, 2002.

36. Голъдштейн Б.С., ПтчукА.В., Суховщкий A.J1. IP-Телефония. — М.: Радио и связь, 2001.

37. Рабинер J1.P., Шафер Р.В. Цифровая обработка речевых сигналов М.Радио и связь -1981.-496.

38. Горелов Г.В. Телекоммуникационные технологии на железнодорожном транспорте. М.: УМК МПС РФ, 1999. -576 с.

39. Горелов Г.В. Нерегулярная дискретизация сигналов. М.: Радио и связь, 1982.-256 с.

40. Горелов Г.В., Каргулин С.Г., Рогов М.А. К оценке качества передачи речи в стандарте GSM. Информационно-управляющие системы на железнодорожном транспорте Харьков 1997, N1, с.30-33

41. Горелов Г.В., Казанский Н.А. Математические сообщений модели доставки к мобильным абонентам в сотовых и телефонных сетях связи. ПФИС-91. Часть 1, Новосибирск 1991 с. 88-95

42. Лукова О.Н. Анализ качества стохастической цифровой передачи речевой информации. Методика и ее использование при разработке информационных систем. Диссертация, на соискание ученой степени канд. тех. наук. М. МИИТ.1994. 149 с.

43. Горелов Г.В., Лукова О.Н. Влияние алгоритмов поиска на качество передачи речи по сети с коммутацией пакетов. Обработка сигналов в системах двусторонней телефонной связи. М.- Пушкино.1994 с.136-138.

44. Горелов Г.В., Лукова О.Н., Чан Куок Тхинь. Влияние порога задержек на качество передачи в пакетных сетях ARPANET. Обработка сигналов в системах двусторонней телефонной связи. М.- Пушкино.1994 с. 139-140.

45. Горелов Г.В., Ромашкова О.Н. Influence of Russian, Spanish and Vietnamese Speech Characteristics on Digital Information Transmission Quality ISIE'96 Варшава 1996 с. 311-313

46. Горелов Г.В. ,Ромашкова О.Н. Методы аналитической оценки качества речи в цифровых системах передачи. .ГУЖЕЛ'97 Белград 1997 с.132-135.

47. Горелов Г.В. ,Ромашкова О.Н., Чан Туан Ань, Лам Куанг Шон. Об оптимизации процедуры предыскажения, дискретизации и восстановления сигнала. Информационно-управляющие системы на железнодорожном транспорте Харьков 1999. N2 с. 30-35

48. Горелов Г.В., Ромашкова О.Н., Лам Куанг Шон. Анализ фильтрации нерегулярно дискретизированного сигнала ПТСПИ'99 с. 180-184

49. Горелов Г.В., Ромашкова О.Н. Сопоставление оценок качества фильтрации и интерполяции нерегулярно дискретизированного сигнала 1УЖЕЛ'99 Белград 1999 с. 63-65

50. Горелов Г.В., Ромашкова О.Н., Иваний Ю.Б. Качество фильтрации при пуассоновском распределении интервала в потоке отсчетов на входе восстанавливающего фильтра. Информационно-управляющие системы на железнодорожном транспорте Харьков 2000 N4 с. 68-75

51. Горелов Г.В., Кочнов JI.JL, Пчелинцев А.В., Пчелинцева Н.М. К оценке качества полосного вокодера. Обработка сигналов в системах телефонной связи. 1998 с. 71-74

52. Горелов Г.В., Казанский Н.А., Лукова О.Н.Оценка качества связи в сетях с пакетной передачей речи при воздействии случайных прерываний обслуживания. Автоматика и вычислительная техника. 1993. N1 с. 69-71

53. Горелов Г.В., Казанский Н.А., Лукова О.Н.Оценка качества различных методов восстановления речи в цифровых сетях с коммутацией пакетов речи и данных. Автоматика и вычислительная техника. 1993. N4 с. 77-78.

54. Быков С.Ф., Журавлев В.И., Шалимов И.А. Цифровая телефония. М. Радио и связь, 2003

55. Гольдштейн Б.С. Системы коммутации. — СПб.: БХВ Петербург, 2003.

56. Запорожченко Н.П., Карташевский В.Г. и др. Цифровые АТС для сельской связи. — М.: Эко Трендз, 2003.

57. Горелов Г.В., Иванов А.В.Устройство для передачи и приема информации АС СССР 1520571 Бюлл. 41, 1989.

58. Горелов Г.В., Иванов А.В.Многоканальное устройство с импульсно-кодовой модуляцией и временным уплотнением каналов АС СССР 1561202 Бюлл. 16,1990.

59. Горелов Г.В., Иванов А.В., Лукова О.Н. Устройство для передачи и приема информации АС СССР 1837348 Бюлл.32, 1993.

60. Горелов Г.В., Иванов А.В.Оценка величины искажений квантования в условиях статистического уплотнения первичной ЦСП. Исследование и разработка современных радиоэлектронных элементов и устройств. Рига, 1989 с.87.

61. Горелов Г.В., Иванов А.В. Оценка качества передачи речевого сигнала при статистическом уплотнении первичной ЦСП. Исследование и разработка современных радиоэлектронных элементов и устройств. Рига, 1989 с. 88.

62. Горелов Г.В., Лукова О.Н.Иванов А.В.Устройство статистического уплотнения каналов связи системы передачи с ИКМ. Автоматика, телемеханика и связь 1992 N4 с. 13-14.

63. Горелов Г.В. Качество воспроизведения речи в стохастических цифровых системах передачи.//Автоматика и вычислительная техника. 1993. -N5. с. 40-43.

64. Берлин А.Н. Устройства, системы и сети коммутации. СПб. Петеркон, 2003.

65. Ситняковский И.В., Мейкшан В.И. ,Маглицкий Б.Н. Цифровая сельская связь; Под ред. Бенедиктова М.Д. М. Радио и связь, 1994. -248 с.

66. Баркун М.А., Ходасевич О.Р. Цифровые системы синхронной коммутации. — М.: Эко Трендз, 2001.

67. Гитин В.Я., Кочановский Л.Н. Волоконно-оптические системы передачи. — М.: Радио и связь, 2003.

68. Голъдштейн Б.С., Фрейнкман В.А. СаП-центры и компьютерная телефония. — СПб.: БХВ-Петербург, 2002.

69. Росляков А.В., Самсонов М.Ю., Шибаева И.В. 1Р-телефония. — М.: Эко -Трендз, 2001.

70. Крестьянинов С.В. и др. Интеллектуальные сети и компьютерная телефония. —М.: Радио и связь, 2001

71. Лагутенко О.И. Современные модемы. — М.: Эко Трендз, 2002.

72. Величкин А.И. Теория дискретной передачи непрерывных сообщений.-М. Сов. радио 1970-296 с.

73. Горелов Г.В., Толмачев П.Н. , Бахтиярова Е.А. К оценке качества восстановления речевого сообщения при статистическом уплотнении первичной цифровой системы передачи//ВКСС Connect 2006, №2, с. 94-97

74. Горелов Г.В., Ромашкова О.Н. Modelling of Speech Information Probability Characteristics for Analysis of Speech Digital Transmission Quality. TEMPT'96 София 1996 c. 104-111.

75. Величкин А.И. Передача аналоговых сообщений по цифровым каналам связи. М.: Радио и связь, 1983.

76. Transmission performance characteristics of pulse code modulation channels. ITU-T Recommendation G.712. (Previously CCITT Recommendation)

77. Назаров M.B., Прохоров Ю.Н. Методы цифровой обработки и передачи речевых сигналов, М.: Радио и связь, 1985. -176 с.

78. Горелов Г.В., Кинтана М. Квантование по уровню при статистическом уплотнении цифровой системы передачи. Радиотехника 1992 N3 с. 3-5.

79. Горелов Г.В., Толмачев П.Н., Бахтиярова Е.А. Качество передачи речи при уплотнении первичной цифровой системы передачи, Казахстан

80. Прокис Дж. Цифровая связь: Пер. с англ. — М.: Радио и связь, 2000.

81. Феер К. Беспроводная цифровая связь: Пер. с англ. / Под ред. В.И. Журавлева. — М.: Радио и связь, 2000.

82. А.В. Карпов, И.С. Качур. "Статистическое и аналитическое определение качества пакетной передачи речи". Статьи аспирантов кафедры "Радиотехника и электросвязь". http://www.miit.ru/institut/isute/faculties/re/articles 1 .htm

83. Карпов А.В. "Правомочность использования Е-модели ITU-T при определении качества пакетной передачи речи". Статьи аспирантов кафедры "Радиотехника и электросвязь". http://www.miit.ru/institut/isute/faculties/re/articles 1 .htm

84. Горелов Г.В., Карпов А.В., Качур И.С., «Сопоставление аналитических и статистических оценок качества пакетной передачи речи», ВКСС Connect 2005, №2 стр. 138-141.

85. Горелов Г.В., Бахтиярова Е.А., Карпов А. В. «Вероятностные характеристики речевого трафика». Мир Транспорта. -2007, -№1, с 22-25.