Разработка методов универсальной обработки цифровых информационных потоков стандарта DVB тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат технических наук Поздняков, Вадим Александрович

• Поздняков, Вадим Александрович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Поздняков, Вадим Александрович

Основные обозначения и сокращения.

Введение.

Глава 1. Проблема повышения универсальности алгоритмов обработки транспортных потоков DVB.

§ 1.1. Семейство стандартов DVB.

§ 1.2. Структура транспортного потока DVB.

§ 1.3. Задачи, возникающие при обработке транспортных потоков

§ 1.4. Критерии универсальности алгоритмов обработки.

§ 1.5. Обзор существующих решений.

§ 1.6. Требования к средствам для создания и выполнения универсальных алгоритмов обработки потоков DVB.

Введение диссертации (часть автореферата) на тему «Разработка методов универсальной обработки цифровых информационных потоков стандарта DVB»

Актуальность темы для науки и практики

Телекоммуникационные сети на основе семейства европейских стандартов DVB, появившиеся в середине 90-х годов прошлого века, получили широкое распространение во всем мире. В частности, в 2004 году для внедрения на территории России в рамках программы по развитию телерадиовещания была выбрана именно эта технология.

Сети DVB постоянно развиваются, в них улучшаются уже имеющиеся услуги и появляются новые, поэтому соответствующие стандарты периодически дорабатываются. Несколько лет назад началась разработка более совершенных систем второго поколения. Спектр оборудования и программного обеспечения, используемого для создания и обслуживания сетей DVB, чрезвычайно широк.

Мультиплексирование логических потоков данных во всех DVB-совместимых системах реализуется с помощью сложноструктурированного цифрового потока (называемого транспортным потоком). Его обработку поддерживают все устройства и программные продукты, предназначенные для взаимодействия с сетями DVB. Алгоритмы обработки, используемые при этом, достаточно сложны и разнообразны. Их функциональность может зависеть от многих факторов: типа и назначения сетевого устройства, поддерживаемых стандартов, перечня предоставляемых услуг.

Постоянное обновление стандартов и стремительное расширение возможностей оборудования требует повышения универсальности методов обработки потоков DVB, используемых в наиболее функциональных устройствах. Под универсальностью в данном случае понимается возможность изменения и настройки алгоритмов обработки в широких пределах для решения разнообразных задач, а также возможность выполнения одних и тех же алгоритмов на разных аппаратно-программных платформах.

Применение более универсальных методов обработки транспортных потоков DVB позволяет снизить себестоимость, уменьшить время разработки, расширить круг решаемых задач для ряда продуктов (например, профессиональных анализаторов и формирователей транспортных потоков), поэтому проблема повышения универсальности этих методов является актуальной в практическом плане. С точки зрения науки данная проблема также актуальна, поскольку применение существующих сегодня методов не позволяет создать устройства и программное обеспечение для универсальной обработки транспортных потоков DVB.

Состояние разработки проблемы

В настоящее время некоторые из применяемых в рассматриваемой области методов позволяют решить задачу универсализации алгоритмов обработки лишь частично, с помощью шаблонов и интерпретируемых языков для описания структур данных. Методы, применяемые в смежных областях, плохо подходят для практического использования по различным причинам: неудобный синтаксис описания алгоритмов обработки, сложность реализации посредника между алгоритмами и системой, в которой они должны выполняться, ограничения при переносе алгоритмов на другие платформы и повторном использовании их частей.

Таким образом, из-за отсутствия адекватных методов реализации универсальной обработки транспортных потоков DVB, данную проблему следует признать недостаточно разработанной.

Цель исследования

В работе проводится исследование методов создания и выполнения алгоритмов обработки цифровых потоков стандарта DVB с целью разработки методов, позволяющих повысить универсальность обработки потоков данного типа.

Задачи исследования

Задачами данной работы являются:

• классификация задач обработки транспортных потоков DVB;

• определение критериев универсальности алгоритмов обработки;

• исследование существующих методов создания и выполнения алгоритмов обработки, выявление их достоинств и недостатков;

• разработка методов повышения универсальности обработки;

• разработка методов создания универсальных алгоритмов обработки транспортных потоков DVB.

Предмет исследования

Предметом исследования являются методы повышения универсальности обработки транспортных потоков стандарта DVB и подходы к практической реализации алгоритмов обработки.

Источники исследования

В процессе работы над диссертацией был изучен и проанализирован большой объем различных материалов, а именно:

• стандарты DVB, имеющие отношение к теме данного исследования;

• научные статьи, посвященные технологии DVB;

• научные статьи об алгоритмах обработки данных, используемых в цифровых сетях;

• научные статьи о потоковых моделях программирования;

• руководства пользователя и информационные проспекты анализаторов транспортных потоков DVB и MPEG-2.

Методология исследования

Из методов, используемых в методологии технических наук, в данной работе наиболее широко применяется системный подход: реализация алгоритмов обработки транспортных потоков рассматривается как система, состоящая из взаимосвязанных компонентов, которая, в свою очередь, является подсистемой общей системы обработки. Определяются элементы, составляющие такую систему, связи и зависимости между ними, функции системы и ее частей, проистекающие в системе процессы, внешние связи и т. п.

Кроме системного подхода в работе применяются также абстрактно-логический (создание теоретической основы универсальной системы обработки) и проектный (порядок практической реализации всех необходимых программных продуктов) методы.

Новизна исследования

В диссертации получены следующие новые научные и практические результаты:

• Сформулированы критерии универсальности алгоритмов обработки.

• Предложен новый метод создания алгоритмов обработки транспортных потоков DVB на основе модифицированного принципа крупномодульной потоковой обработки.

• Разработана универсальная система обработки потоков данных, которая по ряду характеристик превосходит существующие системы потокового программирования.

• Предложен метод выбора типов потоков данных между отдельными модулями обработки.

• Разработаны методы создания алгоритмов, удовлетворяющих всем критериям универсальности и позволяющих решать основные задачи обработки транспортных потоков DVB.

Апробация результатов исследования и публикации

Основные положения и результаты работы докладывались на 49-й научной конференции МФТИ (Москва, 2006), на 14-й международной открытой научной конференции «Современные проблемы информатизации» (Воронеж, 2009), на международной конференции молодых ученых. «Актуальные задачи современной науки» (Красноярск, 2009), на научном семинаре кафедры радиотехники МФТИ (Москва, 2010).

Материалы исследований представлены в б печатных работах: 3 статьи в периодических научных изданиях, одно из которых входит в перечень ВАК, и 3 публикации в виде тезисов докладов.

Достоверность исследования

Вся работа базируется на достоверных и хорошо известных методах обработки цифровых потоков, создания и выполнения алгоритмов. Фактически, известные решения применяются в новой области с соответствующими некритичными изменениями.

Достоверность результатов работы (корректное функционирование универсальной системы обработки потоков данных и алгоритмов на ее основе) обосновывается путем практической проверки алгоритмов обработки на записях тестовых и реальных цифровых потоков. Результаты обработки полностью согласуются с теорией и совпадают с результатами, полученными с помощью сторонних средств обработки, реализующих аналогичные функции.

Научная и теоретическая значимость результатов

Полученные в работе результаты расширяют крут знаний в области обработки цифровых потоков в сетях передачи данных в целом, и в области обработки транспортных потоков DVB в частности. Они могут быть использованы для дальнейшего изучения свойств цифровых потоков данного типа, разработки новых систем и методов обработки, а также в смежных областях.

Практическая значимость результатов и их применимость

Задачи, решаемые в данной работе, имеют практическую направленность, и полученные результаты в виде алгоритмов обработки цифровых потоков DVB использованы при разработке продукции ООО «Телекоммуникации, Технологии, Информация» (что подтверждено соответствующим актом):

• В аппаратно-программном комплексе приема цифровых потоков спутниковых систем связи VSAT: ячейка приема сигнала от базовой станции с функцией обработки цифровых потоков DVB.

• В интегрированной программной среде анализа структуры цифровых потоков: компоненты анализа и обработки цифровых потоков DVB.

В работе приведены практические рекомендации, которые могут быть полезны специалистам в рассматриваемой области и смежных с ней областях. Они могут быть также использованы при обработке и исследовании свойств цифровых потоков в других типах сетей передачи данных.

Структура диссертации

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы.

Заключение диссертации по теме «Системы, сети и устройства телекоммуникаций», Поздняков, Вадим Александрович

Основные результаты работы:

• Описан перечень задач, возникающих при обработке транспортных потоков DVB, проведена их классификация.

• Сформулированы 4 критерия универсальности алгоритмов обработки транспортных потоков DVB.

• Рассмотрены достоинства и недостатки существующих решений, показано, почему с их помощью нельзя реализовать достаточно универсальные алгоритмы.

• Сформулированы требования к средствам для создания и выполнения универсальных алгоритмов.

• Предложена концепция универсальной системы обработки потоков данных, на основе которой можно реализовать алгоритмы, удовлетворяющие критериям универсальности.

• Подробно рассмотрены все особенности этой системы: архитектура, алгоритм работы, логическое устройство обработчиков и их составных частей (потоков и модулей).

• Приведен пример практической реализации универсальной системы: рассмотрена проблема выбора системы команд байт-кода, даны структуры файлов модуля и сборки, рассмотрены язык описания модулей на основе синтаксиса Си и структура класса, реализующего УСОПД, описан состав программного обеспечения, необходимого для создания и выполнения алгоритмов на основе УСОПД.

• Рассмотрены модификаций УСОДП, удовлетворяющие различным требованиям.

• Рассмотрены преимущества, которые может дать использование УСОПД для реализации алгоритмов обработки транспортных потоков DVB.

• Описан метод выбора типов межмодульных потоков в обработчиках на основе УСОПД.

• Описаны методы создания универсальных алгоритмов обработки транспортных потоков DVB: рассмотрены структуры и предназначение наиболее часто встречающихся типов данных, даны рекомендации по построению архитектуры соответствующих обработчиков, приведены примеры обработчиков с подробными описаниями.

• Показано, что приведенные алгоритмы удовлетворяют сформулированным критериям универсальности.

Таким образом, достигнута цель исследования и решены все поставленные задачи. Основываясь на результатах работы, можно сформулировать. итоговые выводы:

• Сложность и разнообразие задач обработки транспортных потоков DVB, выполняемых на множестве платформ с различными функциональностью и особенностями реализации, ведет к необходимости универсализации соответствующих алгоритмов обработки, которая не может быть в достаточной мере достигнута с помощью существующих средств создания и выполнения алгоритмов.

• УСОПД основывается на принципе крупномодульной потоковой обработки, который специально модифицирован для работы с транспортными потоками DVB.

• От существующих решений УСОПД отличается простотой реализации, а также низкой трудоемкостью создания и модификации соответствующих алгоритмов обработки транспортных потоков DVB.

• Если по каким-либо причинам для некоторой внешней системы нецелесообразно реализовывать эталонный вариант УСОПД, во многих случаях существует возможность применить одну из ее модификаций.

• Использование УСОПД в системах обработки транспортных потоков DVB позволяет существенно расширить их функциональность.

• Рассмотренные методы создания алгоритмов позволяют разрабатывать алгоритмы обработки транспортных потоков DVB, соответствующие критериям универсальности.

Данная работа может представлять интерес в первую очередь для разработчиков специализированных средств обработки и анализа транспортных потоков MPEG-2 и DVB первого и второго поколений. УСОПД и универсальные алгоритмы обработки целесообразно использовать для создания или расширения функциональности устройств и программных продуктов, используемых для обслуживания сетей DVB. В частности, к таким продуктам относятся профессиональные анализаторы и формирователи цифровых потоков.

Работа может также быть полезна специалистам, занимающимся разработкой программного и аппаратного обеспечения для обработки или анализа потоков данных в других цифровых телекоммуникационных сетях, так как изложенные в ней методы и подходы могут быть применены для решения широкого круга различных задач.

Следует отдельно отметить, что, несмотря на достаточно широкое распространение сетей DVB и соответствующего оборудования в России, сегодня практически полностью отсутствуют научные (не научно-популярные, обзорные или рекламные) материалы на русском языке, посвященные вопросам работы с сигналами данного типа. Поэтому настоящую работу можно считать одним из первых русскоязычных руководств, которое позволяет подробно ознакомиться с особенностями обработки транспортных потоков стандарта DVB.

Заключение

Данная диссертация фактически содержит полное практическое руководство по реализации системы обработки транспортных потоков DVB с использованием универсальных алгоритмов. Рассмотрены все аспекты такой системы, начиная с теоретических основ и заканчивая примерами реализации алгоритмов обработки.

Список литературы диссертационного исследования кандидат технических наук Поздняков, Вадим Александрович, 2010 год

1. Стандарты DVB и MPEG-2

2. Digital Video Broadcasting (DVB); DVB specification for data broadcasting // ETSI EN 301 192 Vl.4.1. 2004. - 78 p.

3. Digital Video Broadcasting (DVB); Generic Stream Encapsulation (GSE) Protocol // ETSI TS 102 606 VI .1.1. 2007. - 25 p.

4. Digital Video Broadcasting (DVB); Guidelines on implementation and usage of Service Information (SI) // ETSI TR 101 211 Vl.8.1. 2007. - 55 p.

5. Digital Video Broadcasting (DVB); Implementation guidelines for Data Broadcasting. // ETSI TR 101 202 Vl.2.1. 2003. - 64 p.

6. Digital Video Broadcasting (DVB); Interaction channel for satellite distribution systems // ETSI EN 301 790 Vl.4.1. 2005. - 117 p.

7. Digital Video Broadcasting (DVB); IP Datacast oyer DVB-H: Program Specific Information (PSI)/Service Information (SI) // ETSI TS 102 470 VI.1.1. -2006. 37 p.

8. Digital Video Broadcasting (DVB); Measurement guidelines for DVB systems // ETSI TR 101 290 Vl.2.1.-2001.- 175 p.

9. Digital Video Broadcasting (DVB); Specification for Service Information (SI) in DVB systems // ETSI EN 300 468 VI .8.1. 2007. - 111 p.

10. Digital Video Broadcasting (DVB); Specification for the carriage of synchronized auxiliary data in DVB transport streams // ETSI TS 102 823 VI. 1.1. -2005.-37 p.

11. Information technology — Generic coding of moving pictures and associated audio information — Part 6: Extensions for DSM-CC // ISO/IEC 13818-6:1998.-1998.-542 p.

12. Information technology — Generic coding of moving pictures and associated audio information: Systems // ISO/IEC 13818-1:2000. 2000. - 174 p.

13. Потоковое программирование

14. Black А. P., Huang J., Koster R., Walpole J., Pu C. Infopipes: An abstraction for multimedia streaming // Multimedia Systems. December 2002. - Vol. 8, No. 5. -P.406-419.

15. Clark C. L. Lab VIEW Digital Signal Processing and Digital Communications / Clark C. L. The McGraw-Hill Companies, Inc., 2005. - 225 p.

16. Henriksson T. Intra-Packet Data-Flow Protocol Processor: Ph.D. thesis / Lin-koping Studies in Science and Technology, Linkopings universitet. Linkop-ing, Sweden, May 2003. - 134 p.

17. Johnston W. M., Hanna P. J. R., Millar R. J. Advances in Dataflow Programming Languages // ACM Computing Surveys. March 2004. - Vol. 36, No. 1. -P. 1-34.

18. LabVIEW User Manual / National Instruments Corporation, 2003. 349 p.

19. Manolescu D.-A. A Data Flow Pattern Language // In Proc. 4th Pattern Languages of Programming. September 1997. - Vol. 1. - P. 1-22.

20. Morrison J. P. Data Stream Linkage Mechanism // IBM Systems Journal. -1978. Vol. 17, No. 4. - P. 383-408.

21. Parks Т. M. Bounded Scheduling of Process Networks. Technical Report UCB/ERL-95-105: Ph.D. dissertation / EECS Department, University of California. Berkeley CA, December, 1995. - 96 p.

22. Robic В., Silc J., Ungerer T. Beyond Dataflow // Journal of Computing and Information Technology. June 2000. - Vol. 8, No. 2. - P. 89-101.

23. Stevens W. P. How data flow can improve application development productivity // IBM Systems Journal. 1982. - Vol. 21, No. 2. - P. 162-178.

24. Strauss K. Dataflow Architectures Электронный ресурс. / Department of Computer Science, University of Illinois. Urbana IL, September 2005. -URL: http://www.cs.uiuc.edu/class/sp05/cs533/notes/df-class.pdf (дата обращения: 21.03.2009).

25. Задачи обработки транспортных потоков DVB

26. A Guide to MPEG Fundamentals and Protocol Analysis / Tektronix, Inc., 2000.-64 p.

27. Anderson R. E., Foster E. M. Design of an MPEG-2 transport demultiplexor core // IBM Journal of Research and Development. July 1999. - Vol. 43, No. 4.-P. 521-532.

28. Cobalt DVB-H Analyzer / Grass Valley, 2006. 2 p.

29. DTV Stream Analyzer / DiTV Technology Co., Ltd., 2005. 8 p.

30. DVB-H Analysis / Decontis GmbH, 2007. 2 p.

31. DVB-RCS Forward and Return Link Analyser / Verisat, 2006. 2 p.

32. Manzanita Systems Software Developers Kit (SDK) / Manzanita Systems, 2006.-2 p.

33. Mercury MPEG Analyzer / Grass Valley, 2007. 2 p.

34. Mochizuki Y., Oda A., Miura Т., Mitsui K., Kotaki K., Kameda K., Amano Y., Nishida Y. Transport Stream Real-time Analyzer System // NAB ВЕС Proceedings. 2006. - P. 76-81.

35. MPEG Portable Analyzer AD954 / Tektronix, Inc., 2001. 4 p.

36. MPEG Transport Stream Monitor MTM400 / Tektronix, Inc., 2004. 8 p.

37. MPEGscope Test Systems / Agilent Technologies, 2000. 20 p.

38. MPEGscope User's Guide / Hewlett-Packard Company, 2000. 290 p.

39. SPA-11P Portable Transport Stream Analyzer / Scivo Technologies Co., Ltd., 2006.-27 p.

40. StreamScope MT40 / Triveni Digital, Inc., 2007. 6 p.

41. SW-4811 Transport Stream Analyzer software / Cable World Ltd., 2006. 191. P

42. TSA MPEG Transport Stream Analyser /Softel Ltd., 2001. 5 p.

43. VeriSat DVB-RCS Forward Link Analyser / Verisat, 2005. 2 p.1. Другие материалы

44. Bruin, R. Digital video broadcasting : technology, standards, and regulations / Bruin R., Smits J. Artech House, Inc., 1999. - 337 p.

45. Collini-Nocker В., Fairhurst G. ULE versus MPE as an IP over DVB Encapsulation // In proceedings of HET-NETs '04, 2nd International Working Conference on Performance Modelling and Evaluation of Heterogeneous Networks. -July 2004.-9 p.

46. Comer D. Network Systems Design Using Network Processors: Intel IXP version / Comer W. Prentice Hall, 2003. - 515 p.

47. Da Silva S., Florissi D., Yemini Y. Composing Active Services in NetScript // In DARPA Active Networks Worshop, Tucson, AZ. March 1998. - б p.

48. Fischer J., Neumann Т., Olsen A. SDL Code Generation for Open Systems // In proceedings of 12th International SDL Forum, Grimstad, Norway. June 2005. -P. 313-322.

49. Formal description techniques (FDT) Message Sequence Chart (MSC) // ITU-T Recommendation Z.120. - 1999. - 136 p.

50. Formal description techniques (FDT) — Specification and description language (SDL) // ITU-T Recommendation Z.100. 1999. - 246 p.

51. Introduction to the DVB Project // DVB Fact Sheet, February 2008. 2 p.

52. Latkoski P., Popovski B. Impact of Specification and Description Language on ■ Communication Protocol and System Engineering // 14th Telecommunications

53. Forum TELFOR, Belgrade, Serbia and Montenegro. November 2006. - 4 p.

54. Mansurov N., Rogozin A. Generating readable programs from SDL // in Proc. SAM'98 workshop, Humboldt University, Berlin. July 1998. - 10 p.

55. Mansurov N. N., Probert R. L. Improving Time-To-Market Using SDL Tools and Techniques // Computer Networks: The International Journal of Computer and Telecommunications Networking. May 2001. - Vol. 35, No. 6. - P. 667691.

56. Nordqvist U. Protocol Processing in Network Terminals: Ph.D. thesis / Department of Electrical Engineering, Linkopings universitet. Linkoping, Sweden, 2004.-180 p.

57. Programming languages — CHILL: The ITU-T Programming Language // ITU-T Recommendation Z.200. 1999. - 232 p.

58. Rao B. SDL Language Relevance to Protocol Telecom Application Development: A Case Study // ITU-T and ITU-D Sectors Joint Workshop, Bangalore, India. August 2001. - 30 p.

59. Sanders R. Implementing from SDL // Telektronikk. 2000. - Vol. 96, No. 4. -P. 120-129.

60. Specification and Description Language (SDL) / IEC, 1999. 20 p. 61.Stallings W. Data and Computer Communications, Fifth Edition / Stallings W. - Prentice Hall, 2000. - 806 p.

61. Yemini Y., Da Silva S. Towards Programmable Networks I IIFIP/IEEE International Workshop on Distributed Systems: Operations and Management, L'Aquila, Italy. October 1996. - 10 p.

62. Youssef A. A. A Survey of Active Networks Электронный ресурс. / Department of Computer Science, University of Maryland. College Park MD, May 1999. - URL: http://vvww.lib.umd.edu/drum/bitstream/1903/533/2/CS-TR-4422.pdf (дата обращения: 21.03.2009).

63. Zulkifli Z. H. Analysis of IP Encapsulation Methods over DVB Satellite Электронный ресурс. / WIDE Project. 2004. - URL: http://member.wide.ad.ip/draft/wide-draft-dvbrcs-hilmi-OQ.pdf (дата обращения: 21.03.2009).

64. Керниган Б., Ритчи Д. Язык программирования Си / Б. Керниган, Д. Рит-чи; пер. с англ., 3-е изд., испр. СПб.: «Невский диалект», 2001. - 352 с.

65. Соколов В. В. Совместное использование MSC и SDL моделей при разработке событийно-ориентированных систем: автореф. дис. . канд. физ.-мат. наук: 05.13.11: защищена в 2007 г. / В. В. Соколов; СПбГПУ. СПб., 2007.-16 с.

66. Юров В. Assembler. Учебник для вузов / В. Юров. СПб.: Питер, 2003. -640 с.

67. Поздняков В. А. Метод выбора типов связей между модулями при решении задач обработки потоков данных // Естественные и технические науки. М.: Компания Спутник+, 2009. - № 1. - С. 250-251.

68. Поздняков В. А. Основные концепции универсальной системы обработки потоков данных // Труды 49-й научной конференции МФТИ. Долгопрудный, 2006. - С. 92-93.

69. Поздняков В. А. Модификации универсальной системы обработки потоков данных // Современные проблемы информатизации в проектировании и информационных системах: Сб. трудов. Вып. 14. Воронеж: Научная книга, 2009. - С. 530-532.