Методы маскирования искажений в видео потоке после сбоев в работе кодека тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Куликов, Дмитрий Леонидович

• Куликов, Дмитрий Леонидович
• кандидат физико-математических наук
• 2009

Оглавление диссертации кандидат физико-математических наук Куликов, Дмитрий Леонидович

Введение

Глава 1. ПРИЧИНЫ ВОЗНИКНОВЕНИЯ ИСКАЖЕНИЙ

В ВИДЕО, ИХ ТИПЫ И МЕТОДЫ БОРЬБЫ С НИМИ

1.1. Причины возникновения искажений.

1.1.1. Устройство кодека.

1.1.2. Ошибки при передаче данных по сети.

1.2. Типы ошибок и искажения, к которым они приводят

1.2.1. Типы ошибок.

1.2.2. Влияние ошибок на визуальное качество видео

1.3. Методы борьбы с искажениями

1.3.1. Механизмы борьбы с ошибками для разных типов данных

1.3.2. Обнаружение ошибок в видео

1.3.3. Методы маскирования искажений и восстановления сигнала.

Глава 2. МЕТОДЫ ПРОСТРАНСТВЕННОГО МАСКИРОВАНИЯ ИСКАЖЕНИЙ.

2.1. Постановка задачи.'.

2.2. Обзор методов пространственного маскирования

2.2.1. Методы на основе поиска образцов

2.2.2. Методы на основе реконструкции

2.2.3. Комбинированные методы

2.2.4. Сравнение методов поиска образцов, методов реконструкции и комбинированных методов

2.3. Предложенный метод на основе классификации подобластей

2.3.1. Общая схема метода.

2.3.2. Классификация областей.

2.3.3. Предсказание класса неизвестной области

2.3.4. Маскирование текстурных областей.

2.3.5. Маскирование структурных областей с границами

2.3.6. Маскирование структурных областей

2.3.7. Сравнение с методом синтеза текстур и методом на основе классификации

2.4. Предложенный метод на основе адаптивных словарей

2.4.1. Общая схема метода.

2.4.2. Построение адаптивного словаря

2.4.3. Разложение кадра по словарю

2.4.4. Вычисление степеней доверия

2.4.5. Заполнение неизвестных областей.

2.5. Вопросы реализации

2.5.1. Метод маскирования на основе классификации

2.5.2. Метод маскирования с адаптивными словарями

2.6. Сравнительный анализ предложенных и существующих методов

2.6.1. Анализ методов для работы в режиме реального времени с помощью объективных метрик качества

2.6.2. Анализ методов для работы в режиме постообработки с помощью объективных метрик качества

2.6.3. Анализ качества методов с помощью экспертной оценки

Введение диссертации (часть автореферата) на тему «Методы маскирования искажений в видео потоке после сбоев в работе кодека»

Объект исследования и актуальность темы. С развитием вычислительных мощностей компьютеров всё большее внимание уделяется цифровой обработке сигналов, особенно видео сигналов. С 1998 года, когда впервые было осуществлено вещание цифрового видео, данная область исследований начала бурно развиваться. Сейчас цифровое видео используется практически везде: оптические носители (CD, DVD, BluRay), спутниковое телевидение, передача видео по компьютерным сетям, в том числе в Интернете, видео на мобильных устройствах. Поскольку зачастую I видео сигнал представляет собой большой объем данных, то во всех задачах передачи и обработки видео данных используются видео кодеки для кодирования сигнала. При этом в десятки и сотни раз уменьшается объем данных, но увеличиваются внутренние зависимости, которые приводят к заметным визуальным искажениям в видео, при инверсии или потере даже одного бита закодированной информации.

Поскольку почти все способы передачи и хранения закодированного видео сигнала подвержены влиянию искажений, то актуальной становится задача борьбы как с появлением и влиянием этих искажений на видео (помехоустойчивое кодирование, восстановление кодовых слов), так и с последствиями этих искажений (восстановление видео и маскирование искажений). Маскирование визуальных искажений в видео является наиболее универсальным способом борьбы с последствиями ошибок передачи и хранения закодированной видеоинформации, так как в общем случае не зависит ни от типа видео кодека, ни от типа передачи информации и не накладывает никаких ограничений на сам сигнал.

Предлагаемые методы маскирования искажений в видео предназначены для решения нескольких задач: работа в режиме реального времени для улучшения сигнала во время декодирования, работы в режиме постобработки материала, когда основное внимание уделяется качеству обработки, а не скорости. Предлагаемые методы маскирования демонстрируют лучшее визуальное субъективное и объективное качество по сравнению с другими методами. Также предлагается идея специализированной метрики объективного качества видео для оценки визуальной заметности искажений. В этой работе рассмотрено применение методов для маскирования искажений в основном блочной структуры, какие возникают при работе видео кодеков, хотя также возможно их применение без существенных доработок и для улучшения визуального качества видео - удаления царапин, пятен и других нежелательных объектов.

Цели и задачи диссертационной работы. Цель настоящей работы -исследование и разработка методов и построение программных средств маскирования искажений в видео, вызванных ошибками передачи или хранения закодированного видео.

В рамках данной работы необходимо решение следующих задач:

1. Исследование и разработка методов пространственного и временного маскирования искажений в видео. Анализ эффективности разработанных методов по сравнению с существующими.

2. Усовершенствование универсальной метрики для оценки качества изображений/видео с учётом задачи маскирования с целью повышения корреляции значений метрики с экспертной оценкой.

3. Разработка программной системы маскирования искажений в видео.

Научная новизна работы. Разработаны новые методы пространственного маскирования искажений: метод разбиения области над подобласти разных классов с учётом их свойств и метод на основе адаптивных словарей и взвешенного восстановления.

Разработаны новые методы временного маскирования: на основе оценки визуальной заметности непрерывности в видео с использованием нового алгоритма поиска кандидатов и нового подхода к оценке их применимости и метод на основе оптического потока, базирующийся на идее поиска неоднородностей поля векторов и использования этой информации на этапе реконструкции.

Предложен новый подход к усовершенствованию метрики объективного качества видео для адаптации метрики SSIM, позволяющий оценить визуальную заметность специфических искажений, вызванных ошибками передачи закодированного сигнала.

Практическая значимость и реализация. Автором разработаны и реализованы методы, описанные в работе:

1. Метод пространственного маскирования на основе классификации подобластей искажённой области.

2. Метод пространственного маскирования с использованием адаптивных словарей.

3. Метод временного маскирования на основе оценки визуальной заметности искажений вдоль границ области.

4. Метод временного маскирования с использованием оптического потока и поиском неоднородностей поля векторов.

5. Подход к усовершенствованию метрики SSIM для оценки искажений на отдельных кадрах с использованием свойств человеческого глаза и для оценки искажений в видео с использованием анализа векторов движения.

Реализованные методы вошли в программную систему маскирования искажений в видео потоке, как части, отвечающие за пространственное и временное маскирование соответственно. Эти части системы маскирования искажений в видео и в изображениях были приобретены компанией-заказчиком RealNetworks для обработки мультимедиа данных.

Метод (1) частично портирован в декодер из набора ffmpeg libavcodec, выбранного на основе сравнительного анализа MPEG-2 декодеров как наилучший для маскирования искажений в результате ошибок передачи.

Адаптированный метод (4) использовался для демонстрации возможностей подходов маскирования при начале работ совместно с Государственным Комитетом по Кинематографии РФ.

Метод (5) реализован в виде динамически подключаемой библиотеки к программной системе автоматической оценки качества видео/изображений MSU Video Quality Measurement Tool

Исследования в области разработки методов маскирования искажений при работе кодека были поддержаны грантом РФФИ Ж)7-01-00759-а («Создание субоптимальной системы кодирования видео в рамках международных стандартов кодирования видеосигналов»).

Апробация работы. Результаты работы докладывались и обсуждались на:

• 9-м научно-практическом семинаре «Новые информационные тех

1http://wrww. compression.ru/video/qualitymeasure/videomeas urementtoolen.html нологии в автоматизированных системах», Москва, 2006;

• 16-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2006», Россия, Новосибирск, 2006;

• 10-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2007;

• 17-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2007», Россия, Москва, 2007;

• 18-й международной конференции по компьютерной графике и машинному зрению «Graphicon-2008», Россия, Москва, 2008;

• 12-м научно-практическом семинаре «Новые информационные технологии в автоматизированных системах», Россия, Москва, 2009;

• семинаре по компьютерной графике и мультимедиа под руководством Ю.М. Баяковского (ф-т ВМиК МГУ);

• Объединённом семинаре по робототехническим системам под руководством А.К. Платонова, Ю.Ф. Голубева и В.Е. Пряничникова (ИПМ им. М.В. Келдыша РАН);

• семинаре кафедры Автоматизации систем вычислительных комплексов факультета ВМиК МГУ под руководством член-корр. РАН JI.H. Королева.

Публикации. Материалы диссертации опубликованы в 11 печатных работах [1-11], из них 2 статьи в рецензируемых журналах, рекомендованных ВАК[7, 10], 8 статей в сборниках трудов конференций и семинаров [1-5, 8, 9, 11] и 1 тезис доклада [6].

11

Структура и объем диссертации. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и приложения. Содержание работы изложено на 153 страницах, приложение занимает 11 страниц. Список литературы включает 117 наименований.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Куликов, Дмитрий Леонидович

4.5. Заключение

В данной главе дано подробное описание существующих подходов к измерению качества видео сигнала, в частности качества работы методов и алгоритмов обработки. Предложена классификация этих подходов: объективные метрики и экспертные оценки, объективные метрики можно классифицировать на подходы с использованием исходной видео последовательности и без использования. Также в этой главе дана оценка адекватности объективных метрик качества PSNR и SSIM применительно к задаче маскирования искажений.

Предложен подход к усовершенствованию метрики SSIM для более адекватной оценки искажений для пространственных методов маскирования с учётом свойств визуальной системы человека, в частности функции чувствительности глаза к контрасту и маскирующих свойств фона.

Предложен подход адаптации метрики SSIM к искажениям в межкадровой области для оценки качества работы методов временного маскирования на основе анализа гладкости векторного поля между кадрами при помощи механизма векторов движения. Предложенные подходы повысили степень корреляции между значениями метрики и экспертной оценкой при сравнении с метрикой PSNR и исходной метрикой SSIM.

Список литературы диссертационного исследования кандидат физико-математических наук Куликов, Дмитрий Леонидович, 2009 год

1. Д. Л. Куликов, Д. Ватолин. Оценка качества работы видео деко- деров стандарта MPEG-2 при работе в ненадежной среде передачи данных // Труды конференции Graphicon-2006. — Новосибирск, Академгородок: 2006. —1-4 Июля. — 367-370.

2. К.И. Стрельников, Д.Л. Куликов, А. Лукин. Построение и применение модели зерна пленки на основе спектральных образцов // Труды конференции Graphicon-2007. — Москва, Россия: 2007. — 23-27 Июня. - 248-252.

3. Dmitriy Kulikov. Spatio-Temporal Error Concealment Scheme Using Hybrid Algorithm with Postprocessing // Proceedings Graph-icon-2008. - Moscow: 2008. — June. — Pp. 106-110.

4. Sergey Putilin, Dmitriy Kulikov. Low-Complexity Video Watermarking Using Mean Block Luminance Quantization // Proceedings Graph-icon-2008. — Moscow: 2008. — June. — P. 302.

5. К. Стрельников, Д. Куликов. Система моделирования окружения управляемой камеры на основе анализа и обработки видеоданных // Программные продукты и системы. — 2008. — Т. 3. — 66-69.

6. Д. Л. Куликов. Временной метод маскирования искажений в видео на основе обработки оптического потока // Програмные системы и инструменты. Тематический сборник. — 2008. — Т. 9. — 63-73.

7. Д. Л. Куликов. Пространственно-временной алгоритм маскирования искажений в видео при ошибках передачи // Вестник компьютерных и информационных технологий. — 2009. — Т. 1. — 8-14.

8. Д. Ватолин, А. Ратушняк, М. Смирнов, В. Юкин. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. — Диалог-МИФИ, 2002.

9. ITU-T Recommendation H.261, Video Codec for Audiovisual Services at px64 kbits, 1993. — Mar.

10. ITU-T Draft Recommendation H.263, Video Coding for Low Bitrate Communication,, 1997. — Dec.

11. ISO/IEC DIS 13818-2, Information Technology - Generic Coding of Moving Pictures and Associated Audio Information - Part 2: Video, 1994.

12. Iain E. Richardson. H.264 and MPEG-4 Video Compression: Video Coding for Next Generation Multimedia. — 1 edition. — Wiley, 2003. — August.

13. Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14 496-10 AVC). Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVTG050, 2003.

14. T. Wiegand, G.J. Sullivan, G. Bjontegaard, A. Luthra. Overview of the H.264/AVC video coding standard // Circuits and Systems for Video Technology, IEEE Transactions on. — 2003. — July. — Vol. 13, no. 7. — Pp. 560-576.

15. Э. Таненбаум. Компьютерные сети. — Питер, 2007.

16. Д. Грис. Конструирование компиляторов для цифровых вычислительных машин, Под ред. Ю. М. Баяковского, В. Штаркмана. — Москва: Издательство «Мир», 1975.

17. R. W. Conway, W. L. Maxwell. CORC - the Cornell computing language // CACM. - 1963. - June. - Vol. 6. - Pp. 317-321.

18. R. W. Conway, W. L. Maxwell. PL/C. A high perfomance subset of PL/1. TR-70-55: Tech. rep.: Computer Science Dept, Cornell Univ, 1970.

19. D. Freeman. Error correction in CORC: the Cornell computing language: Ph.D. thesis / Cornell Univ. — 1963.

20. H. L. Morgan. Spelling correction in system programs // С ACM.— 1970.-Feb.-Vol . 1 3 . - P p . 90-94.

21. A. Albanese, J. Blomer, J. Edmonds et al. Priority encoding transmission // SFCS '94: Proceedings of the Proceedings 35th Annual Symposium on Foundations of Computer Science. — Washington, DC, USA: . IEEE Computer Society, 1994. - Pp. 604-612.

22. H. Ohta, T. Kitami. A cell loss recovery method using FEC in ATM networks // IEEE Journal on Selected Areas in Communications. — Vol. 9. — 1991. — December. — Pp. 1471-1483.

23. C. Perkins, O. Hodson, V. Hardman. A survey of packet loss recovery techniques for streaming audio // IEEE Network.— 1998.— Sep/Oct. - Vol. 12. - Pp. 40-48.

24. O.J. Wasem, D.J. Goodman, С A. Dvorak, E.G. Page. The effect of waveform substitution on the quality of PCM packetcommunica-tions / / IEEE Transactions on Acoustics, Speech and Signal Process ing. - Vol. 36. — 1988. — Mar. — Pp. 342-348.

25. P. Lauber, R. Sperschneider. Error Concealment for Compressed Digi tal Audio / / Proc. of the 111th AES Conv. — 2001. — Preprint 5460.

26. S. Quackenbush, P.F. Driessen. Error Mitigation in MPEG-4 Audio Packet Communication Systems. / / Proc. of the 115th AES Conv.— 2003. —Preprint 5981.

27. H. Ofir, D. Malah. Packet Loss Concealment for Audio Streaming Based on the GAPES Algorithm / / Proc. of the 118th AES Conv.— 2005. — Preprint 6334.

28. Andreas Flows, Markos Avlonitis, Panayiotis Vlamos. Frequency-do main stochastic error concealment for wireless audio applications / / Mob. Netw. Appl. — 2008. - Vol. 13, no. 3-4. - Pp. 357-365.

29. N. Ohta. Packet Video: Modeling and Signal Processing. — Artech House, 1994.

30. Dean Sklar Charles Wang, Diana Johnson. Forward Error-Correc tion Coding / / The Aerospace Corporation magazine of advances in aerospace technology. — Winter 2001/2002. — Vol. 3, no. 1.

31. S. Lin, Jr. D. J. Costello. Error Control Coding: Fundamentals and Applications, second edition. — Prentice Hall: Englewood Cliffs, NJ, 2004.

32. Hong H. Yu. Error detection using data hiding for robust wireless multimedia communications // SPIE proceedings series / Ed. by M. Atiquz-zaman, M. Hassan. — Vol. 5245. — SPIE, 2003. — Pp. 35-45.

35. К. M. Rose, A. Heiman. Enhancement of one-dimensional variable-length DPCM images corrupted by transmission errors // IEEE Trans. Commun. — 1989. - Vol. 37. - Pp. 372-379.

36. Generic coding of moving pictures and associated audio information: Video. ISO/IEC ISO/IEC 13818-2:, 1996.

37. S. Wenger, T. Stockhammer. An overview on the H.26L NAL concept. - 2002. - Feb.

38. E Delp P Salama, N Shroff. Error Concealment in Encoded Video / / IEEE Journal on Selected Areas in Communications. — 2000. — 06. — Vol. 18, no. 6 . - Pp. 1129-114.

39. Q.F. Zhu, Y. Wang, L. Shaw. Coding and cell-loss recovery in DC- T-based packet video / / IEEE Trans. Cir. Syst. Video Technol, Spe cial Issue on Packet Video. — 1993. — June. — Vol. Vol. 3, no. 3. — Pp. 248-258.

41. MM. Oliveira, B. Bowen, R. McKenna, Y.S. Chang. Fast digital im age inpainting / / Proc. International Conf. on Visualization, Imaging and Image Processing. — Marbella, Spain: 2001. — Pp. 261-266.

42. M. Bertalmio, A. L. Bertozzi, G. Sapiro. Navier-Stokes, Fluid Dynam ics, and Image and Video Inpainting / / Proc. IEEE Computer Vision and Pattern Recognition (CVPR). — Hawaii: 2001. — December.

43. W. Kwok, H. Sun. Multi-directional interpolation for spatial error con cealment / / Consumer Electronics, IEEE Transactions on. — 1993. — Vol. 39, no. 3. - Pp. 455-460.

44. W. Zhu, Y. Wang. A comparison of smoothness measures for error concealment in transform coding / / Proc. SPIE Conf. Visual Commun. and Image Proc. — Taipei, Taiwan: 1995.

45. Huifang Sun, Senior Member, Wilson Kwok. Concealment of Damaged Block Transform Coded Images Using Projections onto Convex Sets // IEEE Trans. Image Processing. - 1995. - Vol. 4. - Pp. 470-477.

46. A. Criminisi, P. Perez, K. Toyama. Region filling and object removal by exemplar-based image inpainting // Image Processing, IEEE Transactions on. — 2004. — Vol. 13, no. 9. —Pp. 1200-1212.

47. Lin Liang, Ce Liu, Ying-Qing Xu et al. Real-time texture synthesis by patch-based sampling // A CM Trans. Graph.— 2001. —July. — Vol. 20, no. 3. - Pp. 127-150.

48. Andre Каир, Katrin Meisinger, Til Aach. Frequency selective signal extrapolation with applications to error concealment in image communication // Int. J. Electron. Commun.— 2005. —June.— Vol. 59.— Pp. 147-156.

49. Alexei A. Efros, Thomas K. Leung. Texture Synthesis by Non-Parametric Sampling // ICCV '99: Proceedings of the International Conference on Computer Vision-Volume 2. — Washington, DC, USA: IEEE Computer Society, 1999. — P. 1033.

50. S. S. Hemami, Т. H. Y. Meng. Transform coded image reconstruction exploiting interblock correlation // Image Processing, IEEE Transactions on. - 1995. — Vol. 4, no. 7. — Pp. 1023-1027.

51. Iddo Drori, Daniel Cohen-Or, Hezy Yeshurun. Fragment-based image completion // A CM Trans. Graph. — 2003. — July. — Vol. 22, no. 3. — Pp. 303-312.

52. M. Bertalmio, L. Vese, G. Sapiro, S. Osher. Simultaneous structure and texture image inpainting // Image Processing, IEEE Transactions on. - 2003. - Vol. 12, no. 8. — Pp. 882-889.

53. S. D. Rane, G. Sapiro, M. Bertalmio. Structure and texture filling-in of missing image blocks in wireless transmission and compression applications // Image Processing, IEEE Transactions on. — 2003. — Vol. 12, no. 3 .—Pp. 296-303.

54. Tanaphol Thaipanich, Wu, Jay Kuo. Low-Complexity Mobile Video Error Concealment Using OBMA. — 2007. — December.

55. T. Thaipanich, Ping-Hao Wu, C. J. Kuo. Low-complexity video error concealment for mobile applications using OBMA // Consumer Electronics, IEEE Transactions on.— 2008.— Vol. 54, no. 2.— Pp. 753-761.

56. Ajit S. Bopardikar, Odd I. Hillestad, Andrew Perkis. Temporal concealment of packet-loss related distortions in video based on Structural Alignment // In Proceedings of the Eurescom summit.— Heidelberg, Germany: 2005.— April.

57. Tien-Ying Kuo, Sheng-Hui Li. Hybrid temporal-spatial error concealment technique for video communications // Multimedia and Expo, 2004. ICME '04. 2004 IEEE International Conference on. - Vol. 3. -2004.- Pp. 1743-1746 Vol.3.

58. Y. Chen, Y. Ни, О. Au et al. Video Error Concealment Using Spatio-Temporal Boundary Matching and Partial Differential Equation // Multimedia, IEEE Transactions on. — 2008. — Vol. 10, no. 1. — Pp. 2-15.

59. М. Е. Al-Mualla, N. Canagarajah, D. R. Bull. Error concealment using motion field interpolation // Image Processing, 1998. ICIP 98. Proceedings. 1998 International Conference on. — 1998. — Pp. 512-516 vol.3.

60. Che S. Chen, Mei J. Chen, Chin H. Huang, Shih С Sun. Motion Vector Based Error Concealment Algorithms // PCM '02: Proceedings of the Third IEEE Pacific Rim Conference on Multimedia. — London, UK: Springer-Verlag, 2002. - Pp. 425-433.

61. Suh J- W, Ho Y-S. Error Concealment Based on Motion Vector Recovery Using Optical Flow Fields // IEICE Trans Commun. — 2003. — April.-Vol. Vol. L.E86-B, no. No. 4 . - P p . 1383-1390.

62. Jae-Won Suh, Yo-Sung Ho. Motion vector recovery using optical flow // Consumer Electronics, 2000. ICCE. 2000 Digest of Technical Papers. International Conference on. — 2000. — Pp. 234-235.

63. M. Bertalmio, G. Sapiro, V. Caselles, Ballester C. Image Inpainting // Proceedings SIGGRAPH 2000, Computer Graphics Proceedings, Annual Conference Series / Ed. by K. Akeley. — Reading, MA: Addison-Wesley, 2000. — Pp. 417-424.

64. Luminita A. Vese, Stanley J. Osheri. Modeling textures with total variation minimization and oscillating patterns in image processing // Journal of Scientific Computing. — 2003. — Vol. 19. — Pp. 553-572. \

65. Leonid I. Rudin, Stanley Osher, Emad Fatemi Nonlinear total varia tion based noise removal algorithms / / Phys. D. — 1992. — Vol. 60, no. 1-4. - Pp. 259-268.

66. Yves Meyer. Oscillating Patterns in Image Processing and Nonlinear Evolution Equations. — ser. AMS Univ. Lecture Series, 2002. — Vol. 22.

67. K. Karu, A. K. Jain, R. M. Bolle. Is there any texture in the image? / / Pattern Recognition, 1996., Proceedings of the 13th International Con ference on. - Vol. 2. - 1996. - Pp. 770-774 vol.2.

68. David J. Heeger, James R. Bergen. Pyramid-based texture analy sis/synthesis / / SIGGRAPH '95: Proceedings of the 22nd annual con ference on Computer graphics and interactive techniques. — New York, NY, USA: ACM, 1995. - Pp. 229-238.

69. E.P. Simoncelli, J. Portilla. Texture Characterization via Joint Statis tics of Wavelet Coefficient Magnitudes. — 1998. — Pp. I: 62-66.

70. C. Ballester, M. Bertalmio, V. Caselles et al. Filling-in by joint in terpolation of vector fields and gray levels / / Image Processing, IEEE Transactions on.— 2001. —Vol. 10, no. 8. — Pp. 1200-1211.

71. T. Chan, J. Shen. Local inpainting models and TV inpainting / / SIAM J. Appl. Math. — 2001 . - Vol. 62:3.—Pp. 1019-1043.

72. J. M. Ogden, E. H. Adelson, J. R. Bergen, P. J. Burt. Pyramid-based computer graphics / / RCA Engineer. — 1985. — Vol. 30, no. 5. — Pp. 4-15.

73. G. Davis, S. Mallat, M. Avellaneda. Adaptive greedy approximations // Constructive Approximation.— 1997.— March. — Vol. 13, no. l . - P p . 57-98.

74. Joel A. Tropp. Greed is good: Algorithmic results for sparse approximation // IEEE Trans. Inform. Theory.— 2004.— Vol. 50.— Pp. 2231-2242.

75. Allen Gersho, Robert M. Gray. Vector quantization and signal compression. — Norwell, MA, USA: Kluwer Academic Publishers, 1991.

76. Timothy, Chang Rong-Chi. Super-resolution inpainting // Journal of Zhejiang University - Science A.— 2005. —June. — Vol. 6, no. 6.— Pp. 487-491.

77. S. Shirani, F. Kossentini, R. Ward. A concealment method for video communications in an error-prone environment // Selected Areas in Communications, IEEE Journal on. — 2000. — Vol. 18, no. 6. — Pp. 1122-1128.

78. Плагин для Photoshop от компании Akvis. Интернет-ресурс: http://akvis.com/en/retoucher/index.php.

79. J. Zhang, J. F. Arnold, M. R. Frater. A cell-loss concealment technique for MPEG-2 coded video // Circuits and Systems for Video Technology, IEEE Transactions on. — 2000. — Vol. 10, no. 4. - Pp. 659-665.

80. Проект FPmpeg. Интернет-ресурс: http://ffmpeg.mplayerhq.hu/.

81. В. D. Lucas, Т. Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision // IJCAI81. — 1981. — Pp. 674-679.

82. R. Duda, P.E. Hart, D.G. Stork. Pattern Classification.— 2nd edition. — Wiley-Interscience, 2001.

83. S. Simonyan, K. Grishin, D. Vatolin. Confidence Measure for Block- -Based Motion Vector Field // Proc. Graphicon-2008. — Moscow: 2008.-June.-Pp. 110-113.

84. Jinghong Zheng, Lap-Pui Chau. A motion vector recovery algorithm for digital video using Lagrange interpolation // Broadcasting, IEEE Transactions on. — 2003. — Vol. 49, no. 4. — Pp. 383-389.

85. Donghyung Kim, Sanghyup Cho, Jechang Jeong. A Motion Vector Recovery Algorithm for Temporal Error Concealment using Optical Flow in H.264 Video Coding // Multimedia and Expo, 2006 IEEE International Conference on. — 2006. — Pp. 1713-1716.

86. Библиотека Open Computer Vision Library. Интернет-ресурс: http://sourceforge.net/projects/opencvlibrary/.

87. ITU-T ВТ 500.11. — Methodology for the subjective assessment of the quality of television pictures., 2002.

88. VQEG. — Final report from the VQEG on the validation of objective models of video quality assessment., 2000.

89. ITU-T J.149.— Method for specifying accuracy and cross-calibration of Video Quality Metrics (VQM).

90. Steinmann V. Sunna P. Wyckens E Kozamernik, F. SAMVIQ—A New EBU Methodology for Video Quality Evaluations in Multime dia / / SMPTE motion imaging journal— 2005.— Vol. 114, no. 4.— Pp. 152-160.

91. EBU-UER BNP 056 : SAMVIQ - Subjective Assessment Methodology for Video Quality.

92. Marcus J. Nadenau, David Alleysson, Murat Kunt. Human Vision Models for Perceptually Optimized Image Processing—A Review, / / submitted to Proc. of the IEEE. — 2000. — September.

93. Zhou Wang, Alan C. Bovik, L. Lu. Why is image quality assessment so difficult? / / Proc. IEEE Int. Conf. Acoust., Speech, and Signal Pro cessing. — Vol. 4. — Orlando, FL: 2002. - May. — Pp. 3313-3316.

94. Bernd Girod. What's wrong with mean-squared error? / / Digital im ages and human vision. — 1993. — Pp. 207-220.

95. Zhou Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli. Image qual ity assessment: from error visibility to structural similarity / / Im age Processing, IEEE Transactions on.— 2004.— Vol. 13, no. 4.— Pp. 600-612.

96. М. Н. Pinson, S. Wolf. A new standardized method for objectively measuring video quality // IEEE Transactions on broadcasting. — 2004. — September. - Vol. 50, no. 3. — Pp. 312-322.

97. P. Marziliano, F. Dufaux, S. Winkler, T. Ebrahimi. Perceptual blur and ringing metrics: application to JPEG2000 // Signal Processing: Image Communication.— 2004. — February. — Vol. 19, no. 2.— Pp. 163-172.

98. J. Mannos, D. Sakrison. The effects of a visual fidelity criterion of the encoding of images // Information Theory, IEEE Transactions on. — 1974.- Vol. 20, no. 4 . - Pp. 525-536.

99. H. Rushmeier, G. Ward, C. Piatko et al. Comparing Real and Synthetic Images: Some Ideas About Metrics // Sixth Eurographics Workshop on Rendering. — Dublin, Ireland: 1995. — Pp. 82-91.

100. Ajeetkumar Gaddipatti, Raghu Machiraju, Roni Yagel. Steering Image Generation with Wavelet Based Perceptual Metric // Computer Graph-ics Forum (Eurographics). — 1997. — September. — Vol. Volume 16, no. Number 3 Conference. — Pp. 241-251(11).

101. Gaurav Sharma, Wencheng Wu, Edul N. Dalai. The CIEDE2000 color-difference formula: Implementation notes, supplementary test data, and mathematical observations // Color Research & Application. — 2004. — February. — Vol. 30, no. 1. - Pp. 21-30.

102. M. R. Luo, G. Сиг, B. Rigg. The development of the CIE 2000 colour-difference formula: CIEDE2000 // Color Research & Application.— 2001.- Vol. 26, no. 5 . - Pp. 340-350.

103. Система автоматической оценки качества видео/изображений MSU Video Quality Measurement Tool. Интернет-ресурс: http://www.compression.ru/video/ quali-ty_measure/video_measurement_tool_en.html.