Разработка алгоритмов обработки информации в системах видеотрансляций по беспроводным сетям тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Сагатов, Евгений Собирович

• Сагатов, Евгений Собирович
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Сагатов, Евгений Собирович

СОДЕРЖАНИЕ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ ПОДСИСТЕМЫ ВИДЕОТРАНСЛЯЦИЙ, КАК ЭЛЕМЕНТА ГЛОБАЛЬНОЙ СЕТИ ПЕРЕДАЧИ ДАННЫХ

1.1 Основные величины, описывающие передачу видео в компьютерных сетях

1.2 Особенности передачи цифрового видео в беспроводных сетях

1.3 Поиск путей повышения качества принимаемого видео

1.4 Формулировка задач исследования

Выводы к главе 1

ГЛАВА 2. СИСТЕМНЫЙ АНАЛИЗ ПРОЦЕССА ПЕРЕДАЧИ ВИДЕО ПО БЕСПРОВОДНЫМ СЕТЯМ

2.1 Основные этапы передачи видео по сети

2.2 Эффект нарушения порядка следования пакетов

2.3 Расчет длительности деджитерного буфера

2.4 Зависимость качества видео от характеристик сети

2.5 Выбор оптимальной скорости потока видеотрансляции

2.6 Выводы к главе 2

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА РЕЗУЛЬТАТОВ СИСТЕМНОГО АНАЛИЗА ПРОЦЕССА ПЕРЕДАЧИ

3.1 Цели и задачи экспериментального исследования

3.2 Обоснование выбора метода оценки качества видео

3.3 Схемы экспериментов в беспроводных сетях

3.4 Методика анализа полученных данных

3.5 Расчет коэффициентов линейного приближения

3.6 Качественные характеристики беспроводных сетей

3.7 Выводы к главе 3

ГЛАВА 4. ДУБЛИРОВАНИЕ КЛЮЧЕВЫХ КАДРОВ

4.1 Пути улучшения качества передаваемого видео

4.2 Алгоритм улучшения качества передаваемого видео

4.3 Идентификация ключевых кадров в RTP видеопотоке

4.4 Оценка эффективности процесса дублирования пакетов

4.5 Результаты эксперимента по дублированию пакетов

4.6 Область применения исследований

Выводы к главе 4

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ

3G — Third generation (третье поколение) 4G - Fourth generation (четвёртое поколение) СВЧ - Сверхвысокая частота

СГАУ — Самарский государственный аэрокосмический университет ТВ - Телевидение

ЭВМ - Электронная вычислительная машина

ADSL - Asymmetric Digital Subscriber Line (асимметричная цифровая абонентская линия)

ASF - Advanced Streaming Format (усовершенстованный формат потокового вещания)

AVC - Advanced Video Coding (усовершенствованное кодирование видео) CDMA - Code Division Multiple Access (множественный доступ с кодовым разделением)

DECT - Digital Enhanced Cordless Telecommunication (улучшенная цифровая переносная связь)

DV - Digital Video (цифровое видео)

EBU - European Broadcasting Union (Европейский вещательный союз)

EDGE - Enhanced Data rates for GSM Evolution (повышенная скорость передачи

для развития GSM)

FEC - Forward Error Correction (прямая коррекция ошибок)

GAP - Good, Acceptable, Poor (хороший, приемлемый, плохой)

GPRS - General Packet Radio Service (пакетная радиосвязь общего пользования)

GSM - Global System for Mobile Communications (глобальная система мобильной

связи)

HDTV - High-Definition Television (телевидение высокой чёткости)

HTTP - HyperText Transfer Protocol (протокол передачи гипертекста)

ICQ — служба мгновенного обмена сообщениями в сети Интернет

IDEF0 - Integration Definition for Function Modeling (встроенные определения для

функционального моделирования)

IEEE - Institute of Electrical and Electronics Engineers (институт инженеров по электротехнике и электронике)

IGMP - Internet Group Management Protocol (протокол управления группами Интернета)

IMT-MC - International Mobile Telecommunications, Multi-Carrier (международная

мобильная связь, мультиполосная)

IP — Internet Protocol (Интернет протокол)

IPTV - Internet Protocol Television (телевидение в IP сетях)

IRC - Internet Relay Chat (ретранслируемый чат для сети Интернет)

ISDN - Integrated Services Digital Network (цифровая сеть с интеграцией служб)

ITU - International Telecommunication Union (международный союз электросвязи)

ITU-R - ITU Radiocommunication Sector (сектор радиосвязи Международного

союза электросвязи)

ITU-T - ITU Telecommunication Standardization Sector (сектор стандартизации электросвязи)

LTE - Long Term Evolution (долговременное развитие) MOS - Mean opinion score (усреднённая экспертная оценка)

MPEG - Moving Picture Experts Group (экспертная группа по движущемуся изображению)

MPEG-TS - MPEG Transport Stream (транспортный поток MPEG)

MSU - Moscow State University (Московский государственный университет)

OSI - Open Systems Interconnection (взаимодействие открытых систем)

PPPoE - Point-to-point protocol over Ethernet (протокол взаимодействия двух

станций поверх сети Эзернет)

QVGA - Quarter Video Graphics Array (четверть видеографической матрицы) RFC - Request for Comments (запрос комментариев) RGB - Red, Green, Blue (красный, зеленый, синий)

RTP - Real-time Transport Protocol (транспортный протокол реального времени) RTSP - Real Time Streaming Protocol (потоковый протокол реального времени)

SAMVIQ - Subjective Assessment Methodology for Video Quality (субъективная методология оценки качества видео)

TCP - Transmission Control Protocol (протокол усправления передачей) TD-CDMA - Time-division - CDMA (CDMA с разделением по времени) TD-SCDMA - Time Division Synchronous CDMA (CDMA с разделением по времени и синхронизацией)

UDP - User Datagram Protocol (протокол пользовательских датаграмм)

UMTS - Universal Mobile Telecommunications System (универсальная мобильная

телекоммуникационная система)

UWC - Universal Wireless Communications (универсальная беспроводная связь)

VFW - Video for Windows (видео для Виндоус)

VLC - VideoLAN Client (клиент ВидеоЛан)

VoIP - Voice over IP (передача голоса no IP)

VPN - Virtual Private Network (виртуальная частная сеть)

VQMT - Video Quality Measurement Tool (утилита для измерения качества видео) WCDMA - Wideband Code Division Multiple Access (широкополосный множественный доступ с кодовым разделением)

WiMAX - Worldwide Interoperability for Microwave Access (международное взаимодействие для микроволнового доступа) WMV - Windows Media Video (Виндоус медиа видео)

Введение диссертации (часть автореферата) на тему «Разработка алгоритмов обработки информации в системах видеотрансляций по беспроводным сетям»

ВВЕДЕНИЕ

Актуальность темы

В настоящее время сетевые технологии проникают во все сферы деятельности человека. В глобальной системе передачи данных — Интернет реализуются следующие функции:

1. Web-страницы;

2. Уо1Р-телефония;

3. Чаты: ICQ, IRC и т.п.;

4. Передача электронных писем;

5. Видеосервисы;

6. и др.

Технологии передачи видео в IP сетях используются давно, но, тем не менее, существует ряд проблем препятствующих повсеместному использованию таких сервисов. В настоящей работе ставится задача расширения функциональности глобальной системы передачи данных без нарушения ее целостности. В частности, ставится задача создания подсистемы видеотрансляций, по своим характеристикам не уступающей специализированым телевизионным системам.

На рисунке 1 изображена иерархическая структура глобальной системы передачи данных и её подсистем. В диссертационной работе предлагается дополнить существующую подсистему видеотрансляций разработанными в данной диссертации подсистемой дублирования пакетов и подсистемой оптимизации скорости видеопотока, а так же методами оптимизации для подсистемы деджиттерного буфера.

Согласно данным Cisco Visual Networking Index ежегодный прирост Интернет трафика на беспроводных устройствах составляет более 250%. К 2013 году его объем увеличится в 66 раз по сравнению с 2008 годом и составит 5,4% от всего IP-трафика в Интернет. К 2013 году различный видеоконтент будет составлять 64% всей информации, переданной на беспроводные сети в мире.

Рисунок 1 — Основные элементы глобальной системы передачи данных.

Отсутствие проводов и привязки к конкретному месту делают мобильный Интернет невероятно популярным и экспоненциально растущим год от года. Технологически каналы доступа в Интернет в таких сетях позволяют без проблем пользоваться большинством сервисов. Но мобильность накладывает свои ограничения в первую очередь на сервисы последнего поколения, такие как приложения реального времени, сетевое мультимедиа, Интернет телевещание и т.д. Их внедрение ограничивается качественными параметрами беспроводных сетей: значительным процентом потерь пакетов и большими значениями вариации задержки пакетов (сетевым джиттером). Эти сети малопригодны для

передачи данных в режиме реального времени, так как мультимедийный трафик чрезвычайно чувствителен к подобным искажениям. Пакеты потокового видео теряются при передаче по сети, изменяют порядок следования из-за значительной вариации задержек пакетов. На получаемом видеоизображении появляются множественные цветные пятна, происходит рассинхронизация потока, что приводит к искажениям изображения, а иногда и к полной остановке воспроизведения видео.

Три фактора влияют на итоговое качество видеоизображения: фактор оборудования, фактор сети и фактор восприятия. Множество исследователей, среди которых Z.Wang и A.C. Bovik [1][2][3][4][5], М.Н. Pinson и S. Wolf [6][7][8][9], A.B. Watson [10][11][12][13][14], Д.С. Ватолин [15][16][17][18], работают над методами оценки качества видеоизображения на приемной стороне. M. Claypool [19], P. Calyam [20][21][22][23], B.B. Прохоров, изучали влияние характеристик сети передачи данных, на качество видео на приемной стороне. W. Tan [24][25], A. Zakhor [24][26][25][27][28], G. De Los Reyes [29], J. Robinson [30] и другие в начале века вносили свои предложения в области повышения качества передаваемого видео с помощью избыточности и особых методов распространения видеотрафика по сети. Многие из этих методов в настоящее время уже являются стандартами.

В предшествующих работах не исследовалось одновременное влияние всех трех факторов, как и не была выявлена численная зависимость между различными параметрами, описывающими каждый из системных компонентов. Такая задача в настоящее время крайне востребована. Например, поставщикам услуг IPTV необходимо представлять качество видео у клиента, чтобы избежать негативных отзывов клиента и отказа от услуг. Делать это с помощью видео анализаторов дорого, так как данный способ требует значительных вычислений, но можно говорить о качестве видеоизображения, зная характеристики сети в момент передачи и параметры кодирования.

В данной работе процесс передачи видео по беспроводной сети исследуется с учетом трех основных факторов: оборудования, сети и восприятия. Это даёт

возможность сказать, какая беспроводная сеть лучше или хуже подходит для передачи потокового видео. В работе предлагаются методы повышения качества видео и предсказания его на приёмной стороне по параметрам сети и оборудования.

Результаты исследования соответствуют следующим пунктам паспорта научной специальности 05.13.01 - Системный анализ, управление и обработка информации (технические системы и связь):

пункту 2 - «Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации», а именно:

Разработан метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.

Предложен метод дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям и соответствующий алгоритм дублирования пакетов.

пункту 4 - «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», а именно:

Разработан метод определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками МРЕв-2, МРЕО-4 и \VMV9.

пункту 5 - «Разработка специального математического и программного обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации», а именно:

Разработано специализированное программное обеспечение (утилита), позволяющее, исходя из параметров оборудования и характеристик беспроводной сети в момент передачи данных, принимать решение о применении управления передачей информации в виде метода дублирования ключевых кадров.

Объект исследования - система видеотрансляций по беспроводным сетям. Предмет исследования - процесс передачи видео по беспроводным сетям.

Целью работы является разработка алгоритмов обработки информации для повышения качества передачи видео в системах видеотрансляций по беспроводным сетям.

Для достижения поставленной цели в диссертационной работе решаются следующие задачи:

1. Исследование связей в системе передачи видео через беспроводные сети и выделение влияющих факторов и переменных.

2. Формирование критерия оценки качества передачи видеоизображения с учётом ограничений системы параметрами кодирования и сетевыми характеристиками.

3. Сбор информации о значимых переменных с помощью экспериментального исследования процесса передачи видео по беспроводным сетям.

4. Разработка алгоритмов повышения качества передачи видео и программного комплекса, реализующего указанные алгоритмы.

5. Оценка эффективности применяемых алгоритмов с помощью экспериментального исследования.

Методы исследования

В диссертационной работе для разработки математической модели зависимости качества видео от параметров сети, сравнения сетей и проверки метода дублирования ключевых кадров используются экспериментальные методы исследования. Для нахождения вероятности переупорядочивания пакетов в сети используются методы теории вероятностей и математической статистики. Для оценки качества видео используются стандарты международного союза электросвязи [51].

Основные положения диссертации, выносимые на защиту:

1. Метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.

2. Метод дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям и соответствующий алгоритм дублирования пакетов.

3. Метод и алгоритм определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками МРЕв-2, МРЕО-4 и \VMV9.

Научная новизна работы

В диссертации получены следующие научные результаты:

1. Предложен новый метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.

2. Предложено использовать метод дублирования ключевых кадров для повышения качества передачи видеопотоков по беспроводным сетям.

3. Предложен новый метод определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками МРЕО-2, МРЕО-4 и WMV9, а также соответствующий алгоритм и программное обеспечение.

Практическая ценность работы

Результаты, полученные в данной диссертационной работе, могут быть использованы для повышения качества вещания сервисов потокового видео в системах Интернет видеотрансляций, могут быть применены для улучшения качества передачи видеоизображения с беспилотных самолетов и спутников, а так же могут применяться провайдерами 1РТУ для прогнозирования качества видеоизображения на стороне пользователя.

Разработана система Интернет видеотрансляций, в которой значительно повышены характеристики устойчивости к сетевым ошибкам.

По итогам работы в СГАУ развернут комплекс Интернет телевещания, а также вещания на мониторы в корпусах университета. Неоднократно проводились прямые трансляции научных мероприятий в СГАУ, а также трансляции для компаний «Радио Самара-Максимум», «Радио Шансон-Самара», ОАО «МегаФон» и других.

Система видеотрансляций внедрена в ОАО «МегаФон», что подтверждается актом внедрения.

Апробация работы

Результаты диссертации докладывались и обсуждались на:

— международной конференции «IEEE IFIP Wireless Days 2011» в г.Ниагара-Фолс, Онтарио, Канада;

— международной конференции «IEEE International Symposium on Image/Video Communications over fixed and mobile networks 2010» в г.Рабат, Марокко;

— региональной научно-практической конференция «Проблемы передачи информации в телекоммуникационных системах» (г.Волгоград, 2011);

— международной конференции с элементами научной школы для молодёжи «Перспективные информационные технологии для авиации и космоса» (г.Самара, 2010);

— XVII конференции представителей региональных научно-образовательных сетей «RELARN — 2010» (г.Нижний Новгород - г.Углич);

— крупнейшей Европейской международной конференции в области компьютерных сетей «TERENA Networking Conférence 2010» (г. Вильнюс, Литва);

— XVII Всероссийской научно-методической конференции «Телематика'2010» (г. Санкт-Петербург);

— Всероссийской молодёжной научной конференция с международным участием «X КОРОЛЕВСКИЕ ЧТЕНИЯ» (г.Самара, 2009);

— Всероссийской научно-технической конференции «Актуальные проблемы радиоэлектроники и телекоммуникаций» (г.Самара, 2009);

— XVI Всероссийской научно-методической конференции «Телематика'2009» (г.Санкт-Петербург);

— XVI конференции представителей региональных научно-образовательных сетей «RELARN - 2009» (г.Москва - г.Санкт-Петербург).

Поощрения, полученные по теме диссертации:

— награжден «Student Travel Grant Award» на международной конференции «IFIP Wireless Days 2011» в г.Ниагара-Фолс, Онтарио, Канада;

— занял первое место на «II Межвузовском студенческом форуме «Инфокоммуникации: взгляд в будущее», организованном ОАО «МегаФон» в г.Самара;

— получил грант РФФИ 10-07-09286-моб_з для частичной оплаты участия в международной конференции IEEE «ISIVC'2010» (г.Рабат, Марокко);

— получил грант РФФИ 12-07-31242-мол_а для работ по теме «Оценка качества связи смарт устройств в 4G сетях для передачи видео»;

— победил в конкурсе научных работ студентов и аспирантов на Всероссийской конференции «Телематика'2010» (г. Санкт-Петербург);

— на конференции «TERENA Networking Conference 2010» прошел во второй тур в конкурсе на лучшую аспирантскую работу среди Европейских университетов, и получил финансовую поддержку для участия от фирмы Cisco.

Публикации

По теме диссертации опубликованы 15 работ, четыре из которых в изданиях, рекомендованных ВАК Минобрнауки России. Две статьи на английском языке по итогам докладов сделанных на конференциях IEEE, которые индексируются Scopus (одна в WoS). На работу «Influence of Distortions of Key Frames on Video Transfer in Wireless Networks» в системе Scopus имеется одна международная ссылка [31].

Структура и объём диссертации

Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 120 страницах машинного текста, содержащих 56 рисунков и 16 таблиц. Список использованных источников насчитывает 76 наименований.

В первой главе введены основные понятия относительно процесса передачи цифровых видеопотоков по глобальным и локальным сетям. Рассматриваются особенности передачи цифровых видеопотоков по

беспроводным сетям. В частности указывается, что в беспроводных сетях характеристики качества значительно хуже, чем в фиксированных сетях. Это в значительной степени затрудняет передачу видеопотоков, так как качество видео на приемной стороне значительно ухудшается.

Показаны методы оценки качества видеоизображения. Рассмотрены классические пути повышения качества, а также сформулированы задачи проводимого исследования.

Во второй главе анализируется процесс передачи видеоизображения по сети с точки зрения системного анализа. Определяются факторы, влияющие на качество видеоизображения на приемной стороне: фактор оборудования, сетевой фактор и фактор человеческого восприятия.

Выявляются характеристики сети, которые оказывают влияние на качество видео на приемной стороне - это процент потери пакетов р и сетевой джиттер j. Разрабатывается математическая модель, описывающая зависимость качества видео на приемной стороне, от характеристик сети:

Qmos=Qideal-<*P-Pj .

Рассматривается эффект нарушения порядка следования пакетов и ищется вероятность этого нарушения. К примеру, для стандартных условий трансляции видеопотока в реальном времени с помощью VideoLan VLC эта вероятность составляет 3,2%. Но вероятность переупорядочивания пакетов становится значительно больше, при увеличении скорости потока. Можно сказать, что есть значительная вероятность нарушения порядка следования пакетов при передаче видео в хорошем качестве.

Для борьбы с эффектом нарушения порядка следования пакетов используется деджиттерный буфер. В данной главе предлагается метод для нахождения минимального деджиттерного буфера. Используя этот метод, ищется длительность буфера для хорошего, удовлетворительного и плохого типов трафика по системе оценок GAP.

В третьей главе разрабатывается план эксперимента, по которому закодированные кодеками MPEG-2, MPEG-4 и WMV9 видеопотоки пересылаются через сеть Интернет и беспроводную сеть стандарта 3G, Wi-Fi или WiMAX. В результате в точке приема записывается полученное видео без перекодирования (как есть), а также сетевой трафик в момент трансляции. Обосновано использование субъективного метода оценки качества видео SAMVIQ (Subjective Assessment Methodology for Video Quality, субъективная методология оценки качества видео) для расчёта качества видео в момент ошибки при передаче по беспроводной сети.

Разрабатывается методика для анализа полученных в результате экспериментов данных: видеофайлов и записей сетевого трафика. Решается проблема соотнесения записей сетевого трафика с конкретным моментов на видеозаписи, а так же проблема выявления ключевых кадров в видеоизображении. В результате ищется субъективное качество видео Qmos в зависимости от процента потерь пакетов р и сетевого джиттера j раздельно для ошибок затрагивающих ключевой кадр и не затрагивающих.

Рассчитываются коэффициенты линейного приближения ак, ¡f, aw, /Г для кодеков MPEG-2, MPEG-4 и WMV9 в сетях 3G, Wi-Fi и WiMAX.

В данной главе анализируются качественные характеристики беспроводных сетей и предлагается решение по дублированию ключевых кадров для повышения качества передачи видео.

В четвёртой главе рассматривается причина, по которой при передаче через беспроводные сети качество потокового видео ухудшается. Показано, что метод перезапроса потерянных пакетов, используемый в TCP протоколе неприменим для передачи потокового видео и для этих целей может использоваться только UDP/RTP протокол. Метод адаптации скорости потока к доступной пропускной способности Интернет соединения значительно повышает нагрузку на сервер вещания, но при этом, используя только этот метод получить приемлемое качество видео невозможно. Ещё одним методом повышения качества видео при передаче является доработка кодеков таким образом, чтобы

при потерях пакетов качество видео снижалось меньше, но большинство популярных кодеков пока таких доработок не имеют. Имеются и другие методы, например методы прямой коррекции ошибок в видеопотоке или группового вещания, применение которых нецелесообразно в компьютерных беспроводных сетях.

В данной главе проводится экспериментальная проверка метода дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям. Для этого ставится эксперимент, в котором видео передаётся по сети Wi-Fi тремя способами: без дублирования пакетов, с дублированием только пакетов, содержащих ключевые кадры и с дублированием всех пакетов видеопотока. Для этого разрабатывается методика по выявлению ключевых кадров в пакетах видеопотока, закодированного кодеком MPEG-2, MPEG-4 или WMV9. В этой части работы определяется, что в среднем в потоковом видео хорошего качества 7% объема потока занимают ключевые кадры.

Разрабатывается утилита, которая встраивается в цепочку промежуточных сетевых драйверов операционной системы Microsoft Windows и реализует алгоритмы по дублированию и отбрасыванию пакетов и выявлению в них ключевых кадров.

В результате проведенных экспериментов установлено, что дублирование ключевого кадра увеличивает объём передаваемой информации всего на 7%, но качество видео на приёмной стороне увеличивается примерно в три раза. Дублирование всех пакетов видеопотока, как правило, даёт худший результат, чем без дублирования вообще. Это вызвано двукратным увеличением загрузки сети, что приводит к нелинейному росту процента потерь пакетов.

Предложенные методики по дублированию ключевых кадров и расчету деджиттерного буфера применимы и необходимы для повышения качества передачи потокового видео в сетях 3G, Wi-Fi и WiMAX. А также могут применяться в потоковом Интернет телевидении. Разработанная в данной диссертации математическая модель, описывающая зависимость качества видео

на приёмной стороне от характеристик сети в момент передачи и настроек оборудования, позволит операторам услуг 1РТУ предсказать качество видеоизображения на стороне пользователя.

В заключении обсуждаются результаты проделанной работы и делаются выводы.

Материалы диссертации опубликованы в работах [32-45, 74].

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Сагатов, Евгений Собирович

Выводы к главе 4

Исследованиями установлены причины ухудшения качества видео при передаче по беспроводным сетям. Показано, что метод перезапроса потерянных пакетов, используемый в TCP протоколе неприменим для передачи потокового видео и для этих целей может использоваться только UDP/RTP протокол. Метод адаптации скорости потока к доступной пропускной способности Интернет соединения значительно повышает нагрузку на сервер вещания, но при этом, используя только этот метод получить приемлемое качество видео не представляется возможным. Ещё одним методом повышения качества видео при передаче является доработка кодеков таким образом, чтобы при потерях пакетов качество видео снижалось меньше, но большинство популярных кодеков пока таких доработок не имеют. Рассмотрены также методы прямой коррекции ошибок в видеопотоке и группового вещания, применение которых нецелесообразно в компьютерных беспроводных сетях.

Проведена экспериментальная проверка метода дублирования ключевых кадров для повышения качества передачи видео по беспроводным сетям. Проведён эксперимент, в котором видео передаётся по сети Wi-Fi тремя способами: без дублирования пакетов, с дублированием только пакетов, содержащих ключевые кадры и с дублированием всех пакетов видеопотока. Разработана методика по выявлению ключевых кадров в пакетах видеопотока, закодированного кодеком MPEG-2, MPEG-4 или WMV9. Установлено, что в среднем в потоковом видео хорошего качества 7% объема потока занимают ключевые кадры.

Разработана утилита, которая встраивается в цепочку промежуточных сетевых драйверов операционной системы Microsoft Windows и реализует алгоритмы по дублированию и отбрасыванию пакетов и выявлению в них ключевых кадров.

В результате проведенных экспериментов на сети Wi-Fi установлено, что дублирование ключевого кадра увеличивает объём передаваемой информации всего на 7%, но ухудшение качества видео на приемной стороне сокращается в три раза. Дублирование всех пакетов видеопотока, как правило, даёт худший результат, чем без дублирования. Это вызвано двукратным увеличением загрузки сети, что приводит к нелинейному росту процента потерь пакетов.

Показано, что предложенные методики по дублированию ключевых кадров (по данным эксперимента на сети Wi-Fi) и расчету деджиттерного буфера целесообразно использовать для повышения качества передачи потокового видео в сетях 3G, Wi-Fi и WiMAX. Могут применяться в потоковом Интернет телевидении. Разработанная в данной диссертации математическая модель, описывающая зависимость качества видео на приёмной стороне от характеристик сети в момент передачи и настроек оборудования, позволит операторам услуг IPTV предсказать качество видеоизображения на стороне пользователя.

ЗАКЛЮЧЕНИЕ

Данная диссертационная работа посвящена разработке алгоритмов обработки информации для повышения качества передачи видео в системах видеотрансляций по беспроводным сетям.

Основным результатом проведенных в диссертационной работе теоретических и экспериментальных исследований являются разработанные методы и алгоритмы, позволяющие уменьшить потери качества видеоизображения при передаче потокового видео по беспроводным сетям в три раза, при увеличении объема передаваемой информации на 7%.

При этом была проделана следующая работа:

1. Проведён анализ системы передачи видео через беспроводные сети и выделены влияющие на качество передачи видео факторы, переменные и связи. Имеются три основных фактора влияющих на качество передачи потокового видео: фактор оборудования, сетевой фактор и фактор человеческого восприятия. Ранее никто не пытался провести исследования с учетом всех трех факторов.

2. Предложен новый метод расчёта критерия оценки качества передачи видеопотоков по беспроводным сетям, учитывающий параметры кодирования и сетевые характеристики.

3. В диссертационной работе получена информация о значимых переменных с помощью экспериментального исследования процесса передачи видео по беспроводным сетям. Предложена методика экспериментального исследования качества видео при передаче, через беспроводную сеть. С её помощью подобраны коэффициенты для расчёта критерия в зависимости от используемого кодека, стандарта беспроводной сети и наличия повреждений ключевых кадров видеопотока. По указанным коэффициентам сделан вывод, что 3G сеть плохо подходит, для передачи потокового видео, a 4G сеть может без проблем использоваться в этих целях.

4. Предложено использовать метод дублирование ключевых кадров для повышения качества передачи видеопотоков по беспроводным сетям.

5. Предложен новый метод определения пакетов, несущих информацию ключевых кадров в видеопотоках, закодированных кодеками МРЕО-2, МРЕО-4 и т1У9.

6. В рамках диссертации для метода дублирования пакетов, несущих информацию ключевых кадров, были разработаны алгоритм и программное обеспечение.

7. В результате экспериментальной проверки, эффективность применения указанных методов и алгоритмов была подтверждена. Получены сведения о том, что дублирование ключевых кадров снижает потери качества видеоизображения на приёмной стороне в три раза, а объем передаваемой информации увеличивается на 7%. Дублирование всех пакетов вызывает ухудшение качества видео, вызванное двукратным увеличением нагрузки на беспроводную сеть.

Список литературы диссертационного исследования кандидат технических наук Сагатов, Евгений Собирович, 2013 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Wang Z. Video quality assessment based on structural distortion measurement [Text] / Zhou Wang, Ligang Lu and Alan C. Bovik // Signal processing: Image communication. - 2004. - Vol.19, No.l. - P. 1-9.

2. Wang Z. Objective video quality assessment [Text] / Zhou Wang, Hamid R. Sheikh and Alan C. Bovik // The Handbook of Video Databases: Design and Applications, B.Furht and O. Marqure, ed. - CRC Press, 2003. P. 1041-1078.

3. Wang Z. Image Quality Assessment: From Error Visibility to Structural Similarity [Text] / Zhou Wang, Alan Conrad Bovik, Hamid Rahim Sheikh, Eero P. Simoncelli // IEEE Transactions on image processing. - 2004. - Vol.13, No.4. - P. 600612.

4. Wang Z. Multi-scale structural similarity for image quality assessment [Text] / Zhou Wang, Eero P. Simoncelli, Alan C. Bovik // Proceedings of the 37th IEEE Asilomar Conference on Signals, Systems and Computers. - 2003. - Vol.2. - P. 1398 -1402.

5. Wang Z. A universal image quality index [Text] / Zhou Wang and Alan C. Bovik // Signal Processing Letters. - IEEE, 2002. - Vol.9, No.3. - P. 81-84.

6. Pinson M.H. A new standardized method for objectively measuring video quality / Margaret H. Pinson and Stephen Wolf // IEEE Transactions on Broadcasting. -IEEE, 2004. - Vol.50, No.3. - P. 312-322.

7. Pinson M.H. The Impact of Monitor Resolution and Type on Subjective Video Quality Testing [Text] / M.H. Pinson, S. Wolf// NTIA. - TM-04-412, 2004.

8. Wolf S. Spatial-temporal distortion metric for in-service quality monitoring of any digital video system [Text] / Stephen Wolf, Margaret H. Pinson // Multimedia Systems and Applications II. - Boston, MA, 1999. - DOLlO.l 117/12.371210.

9. Pinson M.H. HDTV Subjective Quality of H.264 vs. MPEG-2, With and Without Packet Loss [Text] / Margaret H. Pinson, Stephen Wolf, and Gregory Cermak // IEEE Transactions on Broadcasting. - 2010. - Vol.56, No.l. - P.86-91.

10. Watson A.B. Visual detection of spatial contrast patterns: Evaluation of five simple models [Text] / A.B. Watson // Optics Express. - 2000. - Vol.6. - P. 12-33.

11. Watson A.B. Digital video quality metric based on human vision [Text] / Andrew B. Watson, James Hu, John F. McGowan III // Journal of Electronic Imaging. -2001. - D01:10.1117/1.1329896. - P. 20-29.

12. Watson A.B. Toward a perceptual video quality metric [Text] // Human Vision, Visual Processing, and Digital Display VIII. - 1998. - P. 139-147.

13. Watson A.B. Image data compression having minimum perceptual error [Text] //US Patent 5 629 780. - 1997.

14. Watson A.B. Design and performance of a digital video quality metrix [Text] / A.B. Watson, J.Hu, J.F.McGowan III, J.B. Mulligan // Human Vision and Electronic Imaing III. - SPIE Proceedings, San Jose, 1998.

15. Vatolin D. MSU Video Quality Measurement Tool (PSNR, MSE, VQM, SSIM) [Электронный ресурс] / D. Vatolin, A. Moskvin, O. Petrov, S. Putilin, S. Grishin. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL : http://www.compression.ru/video/quality_measure/video_measurement_tool_en.html (Дата обращения 20.04.2011).

16. Vatolin D. MSU Subjective Comparison of Modern Video Codecs [Text] / Dmitriy Vatolin, Alexander Parshin, Oleg Petrov, Artem Titarenko // CS MSU Graphics&Media Lab - Video Group. - 2006.

17. Vatolin D. MSU VQMT Subjective quality correlation [Электронный ресурс] / D.Vatolin, M.Smirnov, A.Ratushnyak, V.Yoockin. - Электрон, текстовые дан. on-line. - Загл. с титул. экрана. - URL : http://compression.ru/video/quality_measure/subj_metric_comparison_en.html (Дата обращения 20.04.2011).

18. Vatolin D. Objective Measurements of Artifacts, Produced by Modern Video Coding Standards [Text] / Dmitriy Vatolin, Sergey Grishin, Alexey Moskvin, Alexander Parshin // Spring conference on Computer Graphics. - 2006.

19. Claypool M. The effects of jitter on the peceptual quality of video [Text] / Mark Claypool and Jonathan Tanner // Proceedings of the seventh ACM international conference on Multimedia (Part 2). - USA, New York, 1999. - P. 115-118.

20. Calyam P. Performance Measurement and Analysis of H.323 Traffic [Text] / Prasad Calyam, Mukundan Sridharan, Weiping Mandrawa, Paul Schopis // PAM Workshop. - 2004. - P. 137-146.

21. Sukhov A. Towards an analytical model for characterizing behavior of highspeed VVoIP applications [Text] / A. Sukhov, P. Calyam, W. Daly, A. Ilin // Computational Methods in Science and Technology. - 2005. - 11(2). - P. 161-167.

22. Calyam P. Characterizing voice and video traffic behavior over the Internet [Text] / Prasad Calyam, Chang-Gun Lee // New Trends In Computer Networks. - 2005. -P. 83-92.

23. Calyam P. H.323 Beacon: An H.323 application related end-to-end performance troubleshooting tool [Text] / P. Calyam, W. Mandrawa, M. Sridharan, A. Khan, P. Schopis // ACM SIGCOMM NetTs. - New York, NY, USA, 2004. - P. 241246.

24. Tan W.T. Real-time Internet video using error resilient scalable compression and TCP-friendly transport protocol [Text] / W.T. Tan, A. Zakhor // IEEE Transactions on Multimedia. - 1999. - Vol.1, Issue 2. - P. 172-186.

25. Tan W.T. Video multicast using layered FEC and scalable compression [Text] / W.T. Tan, A. Zakhor // IEEE Transactions on Circuits and Systems for Video Technology. - 2001. - Vol.11, Issue 3. - P. 373-386.

26. Nguyen T. Distributed video streaming over Internet [Text] / T. Nguyen, A. Zakhor // Multimedia Computing and Networking. - SPIE, 2002. - Vol. 4673. -P. 186-195.

27. Nguyen T. Distributed video streaming with forward error correction [Text] / T. Nguyen, A. Zakhor // Packet Video Workshop. - 2002. - 12 p.

28. Chen M. Rate control for streaming video over wireless [Text] / M. Chen, A. Zakhor // INFOCOM 2004. Twenty-third AnnualJoint Conference of the IEEE Computer and Communications Societies. - 2004. - Vol.2. - P. 1181-1190.

29. G. De Los Reyes, A. Reibman, S. Chang, and J. Chuang, "Error-resilient transcoding for video over wireless channels," IEEE Transactions on Multimedia, vol. 18, pp. 1063-1074, june 2000.

30. J. Robinson and Y. Shu, "Zerotree pattern coding of motion picture residues for error-resilient transmission of video sequences," IEEE Journal on Selected Areas in Communications, vol. 18, pp. 1099-1110, June 2000.

31. Aguiar E. Real-time QoE prediction for multimedia applications in Wireless Mesh Networks [Text] / E. Aguiar, A. Riker, M. Mu, S. Zeadally, E. Cerqueira, A. Abelem // IEEE Consumer Communications and Networking Conference. - Las Vegas, NV, 2012.-P. 592-596.

32. Сагатов E.C. Повышение качества Интернет видео потоков методом дублирования ключевых кадров [Текст] / Е.С. Сагатов, A.M. Сухов // Вестник Самарского государственного аэрокосмического университета имени академика С.П. Королёва (национального исследовательского университета). - Самара: СГАУ, 2011. - № 2 (26). - С. 260-269.

33. Сагатов Е.С. Особенности видеотрафика в беспроводных сетях [Текст] / Е.С. Сагатов, A.M. Сухов, А.А. Семенов // Телекоммуникации. - М.: Наука и технологии, 2011. - № 8. — С. 2-10.

34. Сагатов Е.С. Базовые принципы Интернет телевидения / Е.С. Сагатов, A.M. Сухов // Дистанционное и виртуальное обучение. - М.: Современная гуманитарная академия, 2011. — С.21-38.

35. Sagatov E.S. Duplication of Key Frames of Video Streams in Wireless Networks [Text] / E.S. Sagatov, A.M. Sukhov // IFIP Wireless Days 2011. - Canada, Niagara-Falls, 2011.-D01: 10.1109/WD.2011.6098170.-P. 1-5.

36. Sagatov E.S. Influence of Distortions of Key Frames on Video Transfer in Wireless Networks [Text] / E.S. Sagatov, A.M. Sukhov, P. Calyam // IEEE International Symposium on Image/Video Communications over fixed and mobile networks. - Marocco, Rabat, 2010. - DOI: 10.1109/ISVC.2010.5656258. - P. 1-4.

37. Сагатов Е.С. Улучшение качества видео в беспроводных сетях путем дублирования ключевых кадров [Текст] // Проблемы передачи информации в телекоммуникационных системах. - Волгоград, 2011. — С. 47-52.

38. Сагатов Е.С. Пути повышения качества передачи видео в беспроводных сетях [Текст] // Перспективные информационные технологии для авиации и космоса (ПИТ-2010). - Самара:СГАУ, 2010. - С. 273-277.

39. Сагатов Е.С. Технология прямых Интернет видео трансляций [Текст] // XVII конференция представителей региональных научно-образовательных сетей «RELARN - 2010». -2010. - С. 65-66.

40. Sagatov Е. Quality of VVoIP applications in wireless networks [Text] / E. Sagatov // TERENA networking conference. - Vilnius, Lithuania, 2010. - 1 p.

41. Сагатов Е.С. Качество видео в беспроводных сетях WiFi, 3G, WiMAX [Текст] / Сагатов Е.С., Сухов A.M. // Сборник статей участников Всероссийского конкурса научных работ студентов и аспирантов «Телематика'2010»: телекоммуникации, веб-технологии, суперкомпьютинг. - Спб., 2010. - С. 51-56.

42. Сагатов Е.С. Организация видеотрансляции реального времени через Интернет [Текст] // Всероссийская молодёжная научная конференция с международным участием «X КОРОЛЕВСКИЕ ЧТЕНИЯ». - Самара, 2009. - С. 319.

43. Сагатов Е.С. Автоматизированная корректировка качества передачи видео в беспроводных сетях [Текст] // Актуальные проблемы радиоэлектроники и телекоммуникаций. - Самара, 2009. - С. 7-12.

44. Сагатов Е.С. Моделирование особенностей передачи видео в беспроводных сетях [Текст] // Труды XVI Всероссийской научно-методической конференции «Телематика'2009». - Спб., 2009. - С. 300-301.

45. Сагатов Е.С. Качество передачи видео в беспроводных сетях [Текст] / Сагатов Е.С., Сухов A.M. // Конференция представителей региональных научно -образовательных сетей «RELARN - 2009». - 2009. - С. 66-70.

46. Bradner S. RFC2544 - Benchmarking Methodology for Network Interconnect Devices [Text] / S. Bradner, J. McQuaid // IETF. - IETF, March 1999.

47. Hei X. A Measurement Study of a Large-Scale P2P IPTV System [Text] / Xiaojun Hei, Chao Liang, Jian Liang, Yong Liu, Ross K.W. // IEEE Trans, on Multimedia. - 2007. - Vol. 9, Issue 8. - P. 1672-1687.

48. Won Y. End-User IPTV Traffic Measurement of Residential Broadband Access Networks [Text] / Won Y.J., Mi-Jung Choi, Byung-Chul Park, Hong J.W., Hee-Won Lee, Chan-Kyu Hwang, Jae-Hyoung Yoo // Network Operations and Management Symposium Workshops. - IEEE, 2008. - P. 95-100.

49. Chaofeng Li. Content-weighted video quality assessment using a three-component image model [Text] / Chaofeng Li, Alan Conrad Bovik // Journal of Electronic Imaging. - 2010. - Vol.19, Issue 1. - P. 011003-011003-9.

50. Xiao F. DCT-based video quality evaluation [Text] / Feng Xiao // Final Project for EE392J. - Stanford Univ., 2000. - 10 p.

51. Methodology for the subjective assessment of the quality of television pictures (Ree. ITU-R BT.500-13) [Text] / International Telecommunication Union. -ITU, 2012.-46 p.

52. SAMVIQ - Subjective Assessment Methodology for Video Quality [Text] / European Broadcasting Union // ITU WP6Q. - EBU-UER BNP 056, 2003.

53. Proposal for draft new recommendation on methodology for the subjective assessment of video multimedia applications [Text] / Canada and France // ITU-R WP6Q : document 6Q/122-E. - 2005.

54. Cisco Visual Networking Index: Forecast and Methodology, 2008-2013 [Электронный ресурс] / Cisco Systems. - 2009. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL : http://www.cisco.com/en/US/solutions/ collateral/ns341/ns525/ns537/ns705/ns827/white_paper_c 11 -481360.pdf (Дата обращения 20.04.2011).

55. Infrastructure of audiovisual services- Systems and terminal equipment for audiovisual services [Text] / ITU-T Recommendation H.323. - 1999.

56. Sukhov A.M. Generating Function For Network Delay [Text] / A.M. Sukhov, N.Yu. Kuznetsova, A.K. Pervitsky, A.A. Galtsev. - arXiv, 2010. - arXiv: 1003.0190. -5 p.

57. G.703 : Physical/electrical characteristics of hierarchical digital interfaces [Text] / International Telecommunication Union. - 2001. - 41 p.

58. Haghani E. VoIP Traffic Scheduling in WiMAX Networks [Text] / Ehsan Haghani, Nirwan Ansari // Global Telecommunications Conference. - IEEE, 2008. -P. 1-5.

59. Silverston T. Traffic analysis of peer-to-peer IPTV communities [Text] / T. Silverston, O. Fourmaux, A. Botta, A. Dainotti, A. Pescape, G. Ventre, K. Salamatian // Computer Networks. - 2009. - Vol.53. - P. 470-484.

60. Tao S. Real-Time Monitoring of Video Quality in IP Networks [Text] / S. Tao, J. Apostolopoulos, R. Guerin // IEEE Trans, on Networking. — 2008. — Vol.16, No.5. - P. 1052-1065.

61.VideoLAN, Free streaming and multimedia solutions for all OS! [Электронный ресурс] / VideoLAN team. - Электрон, текстовые дан. on-line. -Загл. с титул, экрана. - URL: http://www.videolan.org/ (Дата обращения 20.04.2011).

62. Wireshark. Go deep. [Электронный ресурс] / Wireshark Foundation. -Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL: http://www.wireshark.org/ (Дата обращения 20.04.2011)

63. Lee A. Welcome to virtualdub.org! - virtualdub.org [Электронный ресурс] / Avery Lee. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL: http://www.virtualdub.org/ (Дата обращения 20.04.2011).

64. Main Page - Avisynth [Электронный ресурс]. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL: http://avisynth.org/mediawiki/ Main_Page (Дата обращения 20.04.2011).

65. Sagatov E.S. Traces of video stream in wireless networks (WiMAX, 3G, WiFi) [Электронный ресурс]. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. - URL: http://www.ip4tv.ru/stati/aaa.html (Дата обращения 20.04.2011).

66. Labovitz С. Internet routing instability [Text] / С. Labovitz, G. Malan, and F. Jahanian // IEEE/ACM Transactions on Networking. - 1998. - Vol.6. - P. 515-528.

67. Paxson V. End-to-end routing behavior in the internet [Text] / V. Paxson // IEEE/ACM Transactions on Networking. - 1997. - Vol.6. - P. 601-615.

68. Floyd S. Equation-based congestion control for unicast application [Text] / S. Floyd, M. Handley, J. Padhye, and J. Widmer // Architectures and Protocols for Computer Communication. - 2000. - P. 43-56.

69. Free Skype internet calls and cheap calls to phones online - Skype. [Электронный ресурс]. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. -URL: http://www.skype.com/intl/en/home (Дата обращения 10.09.2012).

70. Ma Н. Broadcast/multicast mpeg-2 video over wireless channels using header redundancy FEC strategies [Text] / H. Ma and M. Zarki // Proceedings of The International Society for Optical Engineering. - 1998. - Vol. 3528. - P. 69-80.

71. Tan W. Error control for video multicast using hierarchical FEC [Text] / W. Tan and A. Zakhor // Proceedings of 6th International Conference on Image Processing. -1999.-P. 401-405.

72. Deering S. The PIM architecture for wide-area multicast routing [Text] / Stephen Deering, Deborah L. Estrin, Dino Farinacci, Van Jacobson, Ching-Gung Liu, Liming Wei // IEEE/ACM Transactions on Networking. - 1996. - Vol.4. - P. 153-162.

73. NDIS Intermediate Drivers (Windows Driver Kit) [Электронный ресурс] / MSDN. - Электрон, текстовые дан. on-line. - Загл. с титул, экрана. — URL: http://msdn.microsoft.com/en-us/library/ff565773.aspx (Дата обращения 20.04.2011).

74. Астраханцева М.А. Исследование качества передачи видео в беспроводных сетях [Текст] / Астраханцева М.А., Макаров М.А., Сагатов Е.С. // Перспективные информационные технологии в научных исследованиях, проектировании и обучении (ПИТ 2012). - Самара: Издательство Самарского научного центра РАН, 2012. - С. 7-9.

75. Winkler S. Annotated Video Quality Databases [Электронный ресурс]. -Электрон, текстовые дан. on-line. - Загл. с титул, экрана. — URL: http://stefan.winkler.net/resources.html# Video (Дата обращения 10.09.2012).

76. Winkler S. Analysis of Public Image and Video Databases for Quality Assessment [Text] // IEEE Journal of Selected Topics in Signal Processing. - 2012. -Vol.6, Issue 6. - P. 616-625.