Разработка и анализ неэталонного алгоритма оценки качества изображений на основе дискретного преобразования тема диссертации и автореферата по ВАК РФ 05.12.04, кандидат наук Павлов, Евгений Александрович

• Павлов, Евгений Александрович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Павлов, Евгений Александрович

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ОЦЕНКА КАЧЕСТВА ЦИФРОВЫХ

ИЗОБРАЖЕНИЙ

1.1. Субъективные критерии качества

1.2. Объективные критерии качества

1.2.1. Эталонные критерии оценки качества изображений

1.2.2. Неэталонные критерии оценки качества изображений

1.3. Краткие выводы

ГЛАВА 2. НЕЭТАЛОННЫЙ АЛГОРИТМ ОЦЕНКИ КАЧЕСТВА

ИЗОБРАЖЕНИЙ

2.1. Алгоритм неэталонной оценки качества изображений 26 НОдкпС

2.1.1. Общая схема алгоритма

2.1.2. Оценка параметров обобщенного распределения Гаусса

2.1.3. Распределение энергии коэффициентов по частоте

2.1.4. Пространственные искажения

2.1.5. Извлечение признаков

2.1.6. Оценка качества изображения

2.1.7. Оценка корреляции разработанного неэталонного алгоритма с результатами субъективной экспертизы

2.2. База изображений LIVE

2.3. Расчет коэффициентов корреляции

2.4. Апробация работы метрики НОдкпС

2.5. Краткие выводы

ГЛАВА 3. АНАЛИЗ РАБОТЫ ПРЕДЛОЖЕННОГО

НЕЭТАЛОННОГО АЛГОРИТМА В ЗАДАЧАХ ОЦЕНКИ КАЧЕСТВА ВОССТАНОВЛЕННЫХ И

СЖАТЫХ ИЗОБРАЖЕНИЙ

3.1. Тестовые изображения

3.2. Модели искажений

3.2.1. Гауссовский шум

3.2.2. Сжатие изображений с использованием алгоритма JPEG

3.3. Применение неэталонной оценки

в задаче фильтрации полутоновых изображений

3.4. Применение неэталонной оценки в задаче подавления артефактов блочности

3.5. Применение неэталонной оценки в задаче фильтрации цветных изображений

3.6. Краткие выводы

ГЛАВА 4. АНАЛИЗ РАБОТЫ ПРЕДЛОЖЕННОГО

НЕЭТАЛОННОГО АЛГОРИТМА В ЗАДАЧАХ ДЕТЕКТИРОВАНИЯ И РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ТЕЛЕВИЗИОННЫХ

ИЗОБРАЖЕНИЯХ

4.1. Вводные замечания

4.2. Анализ алгоритма в задачах детектирования

4.2.1. Алгоритм детектирования лиц Виолы-Джонса

4.2.2. База изображений для эксперимента детектирования лиц

4.2.3. Подготовка данных для эксперимента

4.2.4. Оценка изображений

4.2.5. Проведение исследований по внешней базе изображений

4.3. Анализ алгоритма в задаче распознавания лиц

4.3.1. Алгоритмы распознавания людей на основе информации о лице

4.3.1.1. Алгоритм на основе метода главных компонент

4.3.1.2. Алгоритм на основе линейного дискриминантного анализа

4.3.1.3. Метод сравнения гистограмм локальных бинарных паттернов

4.3.2. Модификация прогрессивного переключающегося медианного фильтра

4.3.3. Эксперимент по способности человека распознавать лица

4.4. Результаты тестирования алгоритмов распознавания

4.5. Краткие выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Разработка и анализ неэталонного алгоритма оценки качества изображений на основе дискретного преобразования»

ВВЕДЕНИЕ

Актуальность темы. Цифровая обработка визуальной информации в настоящее время охватывает различные виды инфокоммуникационных приложений и расширяет их спектр. Сюда относятся как традиционные приложения (вещательное, промышленное, охранное телевидение), так и относительно новые приложения (видеоконференцсвязь, техническое зрение, цифровое кино, телевидение высокой и сверхвысокой четкости, 3D-телевидение) [1-7].

В соответствии с современной классификацией предложенной В.П. Дворковичем и A.B. Дворковичем цифровая обработка телевизионных и компьютерных изображений включает в себя следующие основные области [6]:

- коррекция изображения, их «препарирование», т.е. сознательное разделение на части цифровыми средствами, видоизменение этих частей и их обратная «сборка»;

- оценка параметров изображений с целью контроля качества их передачи и приема;

- преобразование и кодирование изображений для хранения и передачи по каналам связи;

- компьютерная графика, а также визуализация информации, т.е. представление массивов данных в виде различных изображений, что очень эффективно, так как облегчает решение многих задач, сложных именно своей абстрактностью.

Важность разработки подобных алгоритмов также можно объяснить происходящим в настоящее время переходом к цифровому телевещанию, вызванным развитием в России стандартов DVB первого и второго поколений. Постановлением Правительства Российской Федерации от 3

декабря 2009 г. № 985 утверждена федеральная целевая программа «Развитие телерадиовещания в Российской Федерации на 2009-2015 годы» [4-6].

Задача неэталонной оценки качества изображений вызывает в последние годы повышенный интерес исследователей. Большая часть предлагаемых неэталонных алгоритмов разработана для конкретных типов априори известных искажений в изображении (блочность, размытие), что не всегда удобно для использования в практических приложениях. Поэтому разработка неэталонных критериев оценки качества изображений без использования априорной информации о типе искажения сегодня представляет собой актуальную научно-техническую задачу [1, 3, 7, 11, 13, 19, 20, 24-28].

Причины возникновения шумов на изображении различны. Например, в процессе получения изображения с помощью фотокамеры с ПЗС матрицей основными факторами, влияющими на величину шума, являются уровень освещенности и температура сенсоров [1,2]. В процессе передачи изображения могут искажаться помехами, возникающими в каналах связи. Например, при передаче изображения с использованием беспроводной связи оно может быть искажено в результате разряда молнии или других возмущений в атмосфере. Аддитивный гауссовский шум, рассматриваемый в работе, характеризуется добавлением к каждому пикселю изображения случайной величины, имеющей нормальное распределение, как правило, с нулевым средним значением [1]. Такой тип шума обычно возникает на этапе получения изображений.

Кроме того, цифровые изображения требуют для хранения довольно большого объема памяти, а для их передачи требуется значительное время, поэтому для уменьшения размера изображений нередко используются алгоритмы сжатия, которые также приводят к возникновению определенных артефактов (блочность, звон, размытие). К методам линейных ортогональных преобразований, которые в последнее время широко применяются в области цифровой обработки изображений, относится метод дискретного

5

косинусного преобразования (ДКП) [1], основанный на использовании ортогональной системы дискретных косинусных функций возрастающих частот. ДКП применяется на этапе кодирования в ряде стандартов сжатия изображений и видеопоследовательностей, таких как JPEG, Motion JPEG и Н-265 [6, 7, 43].

Кроме того, для обработки и восстановления изображений в настоящее время используется широкий диапазон систем и устройств. При этом на практике нередко возникает необходимость производить сравнение указанных систем и устройств (при разработке, оптимизации), но в то же время современные системы передачи характеризуются отсутствием стороннего наблюдателя, который мог бы оценить качество получаемого изображения [3]. Поэтому на сегодняшний день наиболее актуальной задачей является разработка объективных алгоритмов оценки качества изображений. В то же время обычно исследователи исходят из некоторых естественных идей и используют простые критерии, которые па практике, как правило, недостаточно хорошо согласуются с субъективными экспертными оценками [19,20].

Значительный вклад в данную область науки и техники внесли как отечественные ученые М.И. Кривошеев, В.А. Сойфер, М.К. Чобану, A.C. Крылов, Д.С. Ватолин, A.C. Конушин, Б.А. Алпатов, Ю.С. Бехтин, Ю.С. Радченко, так и зарубежные - S. Mitra, R. Gonzalez, R. Woods, Z. Wang, A. Bovik, H. Sheikh, E. Simoncelli, J. Astola, K. Egiazarian, R. Szeliski, R. Lukac и др. [1-44].

В настоящее время экспертами в области цифровой обработки изображений предложено большое число критериев оценки качества, однако большинство разработанных методов имеют существенный недостаток - они требуют наличия изображения-оригинала (эталона), необходимого для проведения оценки. IIa практике же зачастую приходится сталкиваться с ситуациями, когда эталонное изображение недоступно. В этом случае

6

возникает необходимость в создании неэталонных критериев, способных оценивать качество изображения «вслепую».

До последнего времени в цифровой обработке сигналов в основном использовались неэталонные алгоритмы, работающие только с определенным, априорно известным типом искажений (например, блочностью или размытием). Однако в настоящее время разработаны также метрики, не ограниченные каким-либо одним типом повреждений в изображении. В данных критериях используется процедура обучения алгоритма на одной или нескольких базах изображений и/или классификаторы искажений задачу [11-13, 19, 20, 24-28].

Дополнительно способствует разработке неэталонных алгоритмов оценки качества бурное развитие мультисервисных сетей передачи информации, наблюдающееся в России в последние годы. В таких сетях неэталонные критерии могут использоваться для определения качества сжатых изображений и видеопоследовательностей [1-6].

Обзор существующих критериев оценки качества изображений и видеопоследовательностей показал, что универсальных решений в данной области па настоящий момент не существует. Однако ряд альтернативно развиваемых проектов показал правильность и высокую значимость выбранного направления исследований [1, 3, 7, 11, 13, 19, 20, 24-28].

Все вышеперечисленное доказывает, что разработка неэталонных критериев оценки качества представляет собой актуальную научно-техническую задачу.

Основной целью работы является разработка и исследование универсального неэталонного алгоритма оценки качества изображений, позволяющего контролировать параметры систем обработки и анализа видеоданных.

В соответствии с указанной целью в рамках диссертационной работы были поставлены следующие задачи:

- проведение анализа существующих алгоритмов и методик оценки качества цифровых изображений;

- разработка и реализация неэталонного алгоритма оценки качества изображений на основе дискретного косинусного преобразования;

- проведение исследований по оценке корреляции между разработанным неэталонным алгоритмом и результатами субъективной экспертизы оценки качества;

- проведение анализа использования предложенной метрики оценки качества в задачах фильтрации, сжатия, детектирования и распознавания объектов на изображениях.

Объектом исследования являются алгоритмы оценки качества изображений, применяемые в радиотехнических системах фильтрации и сжатия визуальной информации и современных системах охранного телевидения.

Предметом исследования является разработка алгоритма на основе дискретного косинусного преобразования (ДКП), с целью эффективного решения задачи неэталонной оценки качества изображений.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, математического анализа, теории вероятностей, математической статистики. Для практической реализации алгоритмов применялись современные численные методы и среда моделирования МАТЬДВ.

Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.

Научная новизна. В рамках данной работы получены следующие новые

научные результаты:

1. Разработан универсальный алгоритм неэталонной оценки качества изображений, основанный на использовании статистики коэффициентов дискретного косинусного преобразования.

2. Проведена оценка корреляции предложенной неэталонной метрики качества со средними оценками экспертов. Для тестовой базы изображений LIVE среднее значение коэффициента корреляции равно 0,92, а для базы TID2008 - 0,84, что соответствует современным результатам и сопоставимо с популярными эталонными критериями.

3. Найдены пороговые значения параметров для ряда задач обработки и распознавания изображений.

Практическая значимость полученных результатов

1. Неэталонный характер работы предложенного алгоритма позволяет использовать его в широком спектре практических приложений, где, как правило, исходное (эталонное) изображение не доступно. При этом достигаемое значение коэффициента корреляции: 0,86-0,98 (LIVE), 0,70,9 (TID2008) соответствует используемым на практике эталонным критериям.

2. Разработанный алгоритм основан на использовании дискретного косинусного преобразования, для вычисления которого в настоящее время предложены быстрые алгоритмы. Кроме того, ДКП применяется на этапе кодирования в ряде стандартов сжатия изображений и видеопоследовательностей, таких как JPEG, MotionJPEG, Н.26х и интегрировано в современные аппаратные платформы обработки изображений, что позволяет использовать алгоритм оценки качества на этапе кодирования изображений.

3. Проведенный анализ использования предложенного алгоритма в ряде прикладных задач может быть использован в системах обработки и передачи визуальной информации, цифрового телевидения, классификации и распознавания образов и в других задачах цифровой обработки изображений и технического зрения.

Основные научные положения, выносимые на защиту:

1. Алгоритм неэталонпой оценки качества на основе дискретного косинусного преобразования, среднее значение коэффициента корреляции которого с субъективными экспертными оценками по базе LIVE равно 0,92, а по базе TID2008 - 0,84.

2. Результаты эксперимента по оценке корреляции между разработанной неэталонной метрикой и значениями стандартных эталонных метрик ПОСШ и КСП. Коэффициент корреляции достигает значения в 0,95-0,99 для изображений с различной степенью детализации, при этом его среднее значение составляет 0,98.

3. Зависимости по оценке параметров ряда алгоритмов обработки и распознавания изображений от предложенного неэталонного критерия.

Апробация работы. Результаты работы докладывались и обсуждались

на следующих научно-технических конференциях:

- 12-15-я международная конференция «Цифровая обработка сигналов и ее применение» DSPA (Москва, 2010-2013);

- 65-66-я научная сессия, посвященная Дню Радио (Москва, 2010-2011);

- 18-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2012);

- Всероссийская научная конференция студентов и аспирантов «Молодые исследователи - регионам» (Вологда, 2009-2011);

- 64-я региональная научно-техническая конференция студентов, магистров и аспирантов вузов (Ярославль, 2011).

Публикации. По теме кандидатской диссертации опубликовано 19 научных работ, из них 2 статьи в журналах, рекомендованных ВАК, 1 свидетельство о государственной регистрации программы ЭВМ и 16 докладов на научных конференциях.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 91 наименование. Она изложена на 120 страницах машинописного текста, содержит 48 рисунков и 10 таблиц.

Благодарности. Автор выражает слова глубокой благодарности своему научному руководителю доценту Владимиру Вячеславовичу Хрящеву за помощь на всех этапах выполнения данной работы.

Отдельная благодарность преподавателям ЯрГУ Ю.А. Брюханову, А.Л. Приорову, И.В. Апалькову, В.А. Волохову, работы которых оказали значительное влияние на формирование взглядов автора в данном научном направлении. Эти взгляды формировались также в совместной работе с коллегами по лаборатории «Цифровые цепи и сигналы» кафедры динамики электронных систем ЯрГУ, среди которых особенно хочется отметить Ю. Лукашевича, А. Тараканова, М. Голубева, Л. Шмаглита, Н. Герасимова, А. Шемякова, О. Гущину, А. Студенову, Е. Аминову, А. Пигузову, О. Кисельникову, Д. Зараменского, В. Соловьева, В. Павлова.

Отдельная благодарность моим родителям и жене за понимание, неоценимую помощь и поддержку на всех этапах работы над диссертацией.

ГЛАВА 1.

ОЦЕНКА КАЧЕСТВА ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Одной из важнейших составляющих процесса исследования при разработке и оптимизации как линейных, так и нелинейных систем фильтрации/восстановления является необходимость оценивать качество восстанавливаемого или улучшаемого изображения [1, 7, 13, 19, 20, 24-28].

Классификация современных методов оценки качества изображений и видеопоследовательностей приведена на рис. 1.1.

Рис. 1.1. Классификация современных методов оценки качества

1.1. Субъективные критерии качества

Наиболее точной мерой качества изображений на сегодняшний день является результат субъективного визуального анализа. Однако проведение такого рода экспертиз не всегда удобно, поскольку занимает достаточно много времени и требует привлечения большого количества людей, поэтому в настоящее время актуальной является разработка численных алгоритмов определения качества.

Существуют два основных вида экспертных оценок: абсолютные и сравнительные [1,3]. В первом случае наблюдатель должен оценить качество изображения по какой-то заранее определенной шкале. В ряде методик

процесс оценки облегчается тем, что наблюдателю предлагается набор эталонных изображений. Существуют и другие методики, когда наблюдатель вынужден принимать решение только па основании своего ощущения.

На результаты субъективных экспертных оценок влияют характер рассматриваемых изображений, а также условия проведения эксперимента. Если наблюдатель когда-либо ранее видел подобные изображения, то он склонен более строго оценивать погрешности, поскольку имеет сложившееся представление о структуре изображения. С другой стороны, в незнакомом изображении искажения могут оказаться незамеченными до тех пор, пока наблюдателю не будет на них указано. Ясно, что условия эксперимента должны в максимальной степени соответствовать наблюдениям в реальной обстановке. Поэтому международный союз электросвязи принял нормативный документ, носящий рекомендательный характер, целью которого является обеспечение одинаковых условий проведения экспертиз в разных лабораториях - ITU-R ВТ.500-11 [8]. В рекомендации ITU-R ВТ.500-11 кроме прочего описаны применяемые в настоящее время шкалы оценки качества изображения, выбор которых зависит от цели исследования.

Одной из наиболее распространенных методик оценки является мера DMOS (difference mean opinion score), которая вычисляется как разность между средней оценкой оригинала и средней оценкой текущего искаженного изображения (MOS). Как следует из определения, для оценки используется одностимуляционный метод, при котором оригинальное изображение входит в набор предлагаемых эксперту изображений и оценивается наряду с остальными. Оценка производится по шкале качества, согласно которой наблюдатель должен оценить общее качество изображения, изменяющееся от «очень плохого» до «очень хорошего».

Шкала качества:

1. Очень плохо;

2. Плохо;

3. Средне;

4. Хорошо;

5. Очень хорошо.

Результатом экспертных оценок является линейное отображение значения, определенного по шкале качества, в диапазон оценок от 1 до 100. Считается, что для получения надежной оценки качества изображения необходимо опросить не менее двадцати наблюдателей [8,9].

Несмотря на точность и интерпретируемость результатов субъективной экспертизы качества, ее сложность и дороговизна делают более привлекательной разработку объективных критериев.

1.2. Объективные критерии качества

Задача объективной оценки качества изображений неразрывно связана с разработкой алгоритмов, которые могли бы автоматически, количественно определить качество оцениваемого изображения. Т.к. конечным потребителем визуальной информации является человек, то актуальной является разработка таких критериев, которые позволили оценить качество изображения так, как оценил бы его человек [1, 3, 7, 11, 13, 19, 20, 24-28].

Все алгоритмы объективной оценки качества можно условно разделить на две большие группы: эталонные, требующие для своей работы наличия исходного, неискаженного изображения, и неэталонные, работа которых осуществляется только с использованием оцениваемого, как правило, искаженного, изображения. При этом более актуальной является задача разработки как раз неэталонных алгоритмов оценки качества, что обусловлено возможностями их применения на практике: там, где исходное, неискаженное изображение, как правило, недоступно.

Иногда в отдельную группу также выносят так называемые частично-эталонные алгоритмы, которые для своей работы требуют наличия не самого эталонного изображения, а некоторой априорной информации (например, информации о характеристиках канала передачи).

Адекватность работы объективных алгоритмов оценки качества, а также их сравнение, осуществляется путем измерения корреляции с экспертными оценками (т.е. результатами субъективной экспертизы качества). Для этого на практике используются различные статистические коэффициенты, такие как коэффициент ранговой корреляции Спирмена, линейной корреляции Пирсона, величину среднеквадратической ошибки. При этом высокое значение коэффициентов линейной корреляции и корреляции Спирмена свидетельствует об адекватности работы алгоритма (о его высокой согласованности с субъективными оценками). Принципы работы алгоритмов оценки качества проиллюстрированы на рис. 1.2.

Дополнительная информация

Рис. 1.2. Различные подходы к объективной оценке качества изображений

Для объективной оценки качества изображений в настоящее время используются алгоритмы, моделирующие некоторые характеристики зрительной системы человека (ЗСЧ) [10-13], осуществляющие извлечение

определенных параметров изображения [15,16] и учитывающие статистические характеристики естественных изображений [17].

1.2.1. Эталонные критерии оценки качества изображений

Пиковое отношение сигнал/шум

На данный момент наиболее популярной объективной мерой служит пиковое отношение сигнал/шум (ПОСШ). Для изображений с 256 градациями яркости ПОСШ определяется следующим образом [1,3]:

ПОСШ = 20\оё10-^=, (1.1)

СКО = ^(х;-у;)2, (1.2)

где N - число пикселей в изображении, x¡ и у1 - значения пикселей эталонного и восстановленного изображений соответственно, а СКО — среднеквадратичная ошибка.

Основными преимуществами данного критерия являются простота расчета, а также понятность физического смысла. Однако при практическом использовании критерия ПОСШ возникает следующий ряд проблем:

1. Определение качества изображения не зависит от пространственных зависимостей между исходным и искаженным сигналом.

2. Определение качества независимо от любых связей между сигналом изображения и сигналом ошибки. Это значит, что для сигнала с одинаковой ошибкой не имеет значения, каково исходное изображение.

3. Определение визуального качества зависит только от величины сигнала ошибки.

4. Все составляющие сигнала одинаково важны для визуальной оценки качества.

Кроме того, большим минусом использования ПОСШ в системах цифровой обработки изображений, и в частности в цифровых фильтрах, является то, что данная величина не имеет абсолютного значения.

Следует отметить, что критерий ПОСШ характеризует «среднее» качество изображения в целом, при этом ошибки на различных фрагментах изображения, в принципе, могут различаться [1,7].

В случае цветных изображений для вычисления ПОСШ используется значение СКО, усредненное по каналам (Я, в, В):

С КО = ]ГС/Ш,. (13)

¡=11,с,в

Указанные недостатки критерия ПОСШ привели к разработке различных модификаций данной метрики. В частности, в работе [18] предлагается модифицированный критерий ПОСШ-М, алгоритм вычисления которого представлен на рис. 1.3.

Рис. 1.3. Схема вычисления ПОСШ-М

Итоговая оценка определяется согласно следующим выражениям [18]:

255

ГЮСШ-М = 20к^10

л/СКО-М

/-7.7-7 8 8

ско - м - кх 2 £ Е "]а(/

/=1 У=1 /71=1 Я=1

(1.4)

(1.5)

где Х[/и,и]д((7) - коэффициенты ДКП блока 8x8, представляющего собой

разность значений пикселей эталонного и оцениваемого изображения после корректировки контраста (координаты верхнего левого элемента блока равны / и у), Тс[т,п] - матрица корректирующих факторов, К - константа.

Коэффициент структурного подобия

Использование коэффициента структурного подобия (КСП) основывается на определении сходства трёх компонент (яркость, контраст и структура) эталонного и восстановленного изображений и объединении этих значений в итоговый результат. Блок-схема вычисления КСП приведена на рис. 1.4 [17].

Сигнал х

Измерение яркости

Измерение контраста

-©

Сигналу

Измерение яркости

Измерение контраста

Сравнение яркости

Сравнение

контраста

КСП

Сравнение структуры

-•©—

Рис. 1.4. Блок-схема вычисления КСП

Значение КСП определяется согласно статистическим характеристикам изображения в соответствии с представленным выражением [17]:

КСП =

2 х-у + Сх 2ахоу+С2

(х)2 + (у)2 + С, а2х+а2у+С2 ахсу+С3'

(1.6)

где = = сЦ^^-цУ

Г 1 Л' V'2 1 N

И-

I V 1

— > ^ = ТГт2>1 ~РУ)> а С1' С2 и Сз

~1 ;=1 ) N /=1

константы, включенные в выражение (1.6) для того, чтобы избежать обращения КСП в бесконечность.

Первый множитель в выражении (1.6) определяет соотношение между математическими ожиданиями входного и восстановленного сигнала и принимает значения в интервале [0; 1], при этом максимум достигается в случае их равенства. В случае если сигналом является изображение, этот коэффициент отвечает за изменения его яркости.

Значения среднеквадратичных отклонений ах и а определяют

динамический диапазон изменения сигналов х и у соответственно, вследствие этого они могут рассматриваться как характеристики контраста, в том случае если сигналом является изображение. Таким образом, второй множитель в выражении для КСП соответствует искажению контрастности восстановленного сигнала относительно оригинала и принимает значения в интервале [0; 1].

Третий множитель представляет собой коэффициент взаимной корреляции сигналов хну, который определяет степень их линейной

подобности и принимает значения в интервале [-1,1]. При этом максимальное значение достигается в случае, если у,- =ах{+Ь, где а>0, Ь>0 и г = 1,2,...Д. Данный множитель определяет структурное подобие сигналов изображения.

Следует заметить, что предложенная в выражении (1.6) структура КСП соответствует одномерным стационарным сигналам. Изображение является двумерным и в общем случае нестационарным сигналом, поэтому прямое использование формулы для вычисления КСП в данном случае невозможно.

Для решения данной проблемы предлагается выделять в изображении отдельные локальные области размером Ах В, в пределах которых изображение можно считать стационарным и вычислять статистические характеристики (математическое ожидание, дисперсию и корреляционную функцию) внутри этой области, а уже на основании их вычислять значение КСП,, соответствующее выделенному блоку. Такой подход обеспечивает наиболее правильное и точное суждение о качестве восстановленного изображения [17].

В результате этого процесс нахождения КСП для конкретного изображения будет сводиться к следующему: «скользящее окно» (маска) размером Ах В, начиная из верхнего левого угла, проходит пиксель за пикселем по всем строкам и столбцам этого изображения, на каждом шаге вычисляется значение статистических характеристик и собственно сам КСП| для текущего положения окна. КСП, характеризующий качество изображения в целом, будет определяться как среднее арифметическое значений КСП; на протяжении всего изображения, т.е. [19, 20]:

где М - число блоков, внутри которых вычислялся КСП. Критерий NCD (normalized color difference)

Критерий NCD был использован наряду с ПОСШ для определения качества RGB-изображений. Вычисление критерия осуществляется в равномерном цветовом пространстве LUV и определяется выражением [22]:

1 м

ксп =—Уксп

ми

1

/ '

(1.7)

(1.8)

где х(- и у; - значения пикселей эталонного и восстановленного изображений соответственно (в пространстве RGB), а векторы xi2, x/3J и

= l^ii' У ¡2 » У Л представляют собой проекцию векторов х; и на

цветовое пространство LUV. Т.о. критерий NCD позволяет количественно определить величину ошибки между цветовыми векторами.

1.2.2. Неэталонные критерии оценки качества изображений

Как правило, работа неэталонных алгоритмов ограничивается оценкой качества только определенных видов искажений: к примеру, размытия [21,23], артефактов при сжатии в стандартах JPEG [24] и JPEG2000 [25] и др. повреждений. Такие неэталонные алгоритмы оценивают степень зашумленности изображения определенным, заранее известным, искажающим фактором и проецируют полученную оценку искажения на шкалу качества, согласовывая ее с субъективными оценками. Большинство из перечисленных алгоритмов основываются на процедуре выделения границ на изображении (для определения величины артефактов звона и размытия границ, например, при сжатии в стандарте JPEG2000). В случае сжатия изображений алгоритмом JPEG измеряется блочность, которая имеет периодическую структуру, на границах блока и также измеряется размытие границ. Оценки этих искажений (звон и размытие в случае JPEG2000, и блочность и размытие в случае JPEG) объединятся с различными параметрами, которые определяются с помощью субъективных оценок, и получается метрика оценки для конкретного алгоритма сжатия.

Список литературы диссертационного исследования кандидат наук Павлов, Евгений Александрович, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений - М.: Техносфера, 2005.

2. Кравченко В.Ф. (под ред.) Цифровая обработка сигналов и изображений в радиофизических приложениях - М.: Физматлит, 2007.

3. Приоров А.Л., Апальков А.В., Хрящев В.В. Цифровая обработка изображений: Учеб. Пособие / Яросл. гос. университет - Ярославль, 2007.

4. Борисов Ю.И., Дворкович В.П., Зубарев Ю.Б. Технические проблемы и перспективы внедрения цифрового телевидения и радиовещания в России. Часть 1 // Broadcasting. Телевидение и радиовещание, 2007. Nol. С. 22-27.

5. Зубарев Ю.Б., Дворкович В.П., Дворкович А.В. Проблемы и перспективы внедрения информационных мультимедийных систем в России // Электросвязь, 2004. NolO. С. 11-16.

6. Дворкович В.П., Дворкович А.В. Цифровые видеоинформационные системы (теория и практика)//Техносфера, 2012. 1008 с.

7. Bovik A. The Handbook of Image and Video Processing (Communication, Networking and Multimedia) // Academic Press, 2005.

8. Recommendation ITU-R BT.500-11. Methodology for the subjective assessment of the quality of television pictures, 2002.

9. Eskicioglu A., Fisher P. Image quality measures and their performance // IEEE Trans. Communications, 1995. V. 43, №12. P. 2959-2965.

10. D. M. Chandler and S. S. Hemami. VSNR: A wavelet-based visual signal-to-noise ratio for natural images // IEEE Transactions on Image Processing, 2007, 16(9). P. 2284-2298.

11. Радченко Ю.С., Булыгин A.B., Радченко T.A. Модификация индекса структурного подобия (MSSIM) на основе методов непараметрической

статистики // Доклады 10-й Междунар. конф. «Цифровая обработка сигналов и се применение» (DSPA-2008), М., 2008. Т. 2,С. 505-508.

12. Egiazarian К., Jaakko A., Ponomarenko N., Lukin V., Battisti F., Carli M. Two new full-reference quality metrics based on HVS // Proc. Of the 2nd int. workshop on video process, and quality metrics for consumer electronics, VPQM, Jan. 2006.

13. Плюшкина II.C., Чобану M.K. Три эталонных критерия оценки качества сжатия изображений // Доклады 10-й Междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2008), М., 2008. Т. 2, С. 521-524.

14. Viola P., Jones М. Rapid object detection using a boosted cascade of simple features // Proc. Int. Conf. on Computer Vision and Pattern Recognition.

2001. No 1. P. 511-518.

15. Wang, Z., Bovik A., Evans B.L. Blind measurement of blocking artifacts in images // Proc. IEEE Int. Conf. on Image Processing, Vancouver, Canada, Sept. 2000. V. 3, P. 981-984.

16. Арляпов С.А., Приоров A.JI., Хрящев В.В. Модифицированный критерий оценки качества восстановленных изображений // Цифровая обработка сигналов, 2006. .№2. С. 27-33.

17. Sheikh H.R., Bovik. А.С. Image information and visual quality // IEEE Transactions on Image Processing, 2006, 15(2), P. 430-444.

18. Ponomarenko N., Silvestri F., Egiazarian K., Carli M., Lukin V. On between-coefficient contrast masking of DCT basis functions // Proc. of 3rd Int. Work, on Video Proc. and Quality Metr. for Cons. Electr. 2007.

19. Wang Z., Bovik A. A universal image quality index // IEEE Signal Processing Letters, Mar. 2002. V. 9, №3. P. 81-84.

20. Wang Z., Bovik A., Lu L. Why is image quality assessment so difficult? // Proc. IEEE Int. Conf. Acoust., Speech, and Signal Processing, Orlando, May

2002. V. 4, P. 3313-3316.

21. Chen M.J., Bovik A.C. No reference Image Blur Assessment Using Multiscale Gradient // 1st International Workshop on Quality of Multimedia Experience (QoMEX), 2009.

22. Plataniotis, K.N. Androutsos, D. ; Venetsanopoulos, A.N. Adaptive fuzzy systems for multichannel signal processing // Proceedings of the IEEE (Volume:87 , Issue: 9 ). P. 1601-1622.

23. Marziliano P., Dufaux F., Winkler S., Ebrahimi T. Perceptual blur and ringing metrics: Application to JPEG2000 // Sig. Proc.: Image Comm., 2004, 19(2), P. 163-172.

24. Wang Z., Sheikh H.R., Bovik A.C. No-reference perceptual quality assessment of JPEG compressed images // IEEE Int'l Conf. Image Proc.,

2002. P.477-480.

25. Ong E.P., Lin W., Lu Z., Yao S., Yang X., Jiang L. No-rcference JPEG-2000 image quality metric // International Conference on Multimedia and Expo,

2003, V. 1, P. 6-9.

26. Moorthy A.K., Bovik A.C. A two-step framework for constructing blind image quality indices // IEEE Signal Processing Letters, 2010, 17(2), P. 587599.

27. Wang Z., Wu G., Sheikh H.R., Simoncelli E.P., Yang E.H., Bovik A.C. Quality aware images // IEEE Transactions on Image Processing, 2006, 15(6), P. 1680-1689.

28. Mittal A., Moorthy A. K., Bovik A. C. No-Reference Image Quality Assessment in the Spatial Domain // IEEE Transactions on ImageProcessing, 2012.

29. Mittal A., Soundararajan R., Bovik A.C. Making a Completely Blind Image Quality Analyzer // IEEE Signal processing Letters, V. 22, N. 3, 2013, P. 209212.

30. Sheikh II.R., Wang Z., Cormack L., Bovik A.C. LIVE image quality assessment database release 2, 2006, http://live.eee.utexas.edu/research/ quality/subj ective.htm.

31. Ponomarenko N. TID2008 - a database for evaluation of full-reference visual quality assessment metrics, 2008, http://www.ponomarenko.info/tid2008.htm.

32. Larson E.C., Chandler D.M. Consumer subjective image quality database, 2009, http://vision.okstate.edu/index.php?loc=csiq.

33. Parvez Sazzad Z.M., Kawayoke Y., Horita Y. MICT image quality evaluation database, 2008, http://mict.eng.u-toyama.ac.jp/mictdb.html.

34. Datta R., Joshi D., Li J., Wang J.Z.. Studying aesthetics in photographic images using a computational approach. // Lec. Notes, in Comp. Sci. , 2006, P. 288.

35. Li C., Chen T. Aesthetic Visual Quality Assessment of Paintings // IEEE Jnl. Sel. Top. Sig. Proc., 2009, 3(2), P. 236-252.

36. Olsen S.I. Estimation of noise in images: An evaluation // Comput. Vision Graphics Image Process., 1993, V.55, N..4, P. 319-323.

37. Immerkaer J., Fast Noise Variance Estimation // Computer Vision and Image Understanding, 1996, V.64,N. 2, P. 300-302.

38. Wang Z., Bovik A., Sheikh H., Simoncelli E. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing, 2004. V. 13, №4. P. 600-612.

39. Li Q., Wang Z. Reduced-reference image quality assessment using divisive-normalization-based image representation // IEEE J. Sel. Topics Signal Process., 2009, V. 3, N. 2, P. 202-211.

40. Moorthy A.K., Bovik A.C. Perceptually significant spatial pooling strategies for image quality assessment // Proc. SPIE Human Vis. Electron. Imag., 2009, V. 7240, P. 724012-1-724012-11.

41. Sharifi K., Leon-Garcia A. Estimation of shape parameter for generalized gaussian distributions in subband decompositions of video // IEEE Trans. Circuits Syst. Video Technol., 2005, V. 5, N. 1, P. 52-56.

42. Cho N.I., Lee S.U. Fast algorithm and implementation of 2-D discrete cosine transform // IEEE Trans. Circuits Syst., 1991, V. 38, N. 3, P. 297-305.

43. Wallage G. The JPEG Still Picture Compression Standard // Communications of the ACM, 1991. V. 34, №4. P. 31-44.

44. Tomasi C., Manduchi R. Bilateral filtering for gray and color images // Sixth Int. Conf. on Сотр. Vis., 1998. P. 839-846.

45. УВД по Ярославской области. Техническое задание на разработку проектно-сметной документации по созданию комплексной автоматизировано-информационной аналитической системы «Безопасный город» // Ярославль, 2009.

46. Потапов А.С. Распознавание образов и машинное восприятие: общий подход на основе принципа минимальной длины описания // СПб.: Политехника. — 2007.

47. Turk М., Pentland A. Eigenfaces for Recognition // J. Cognitive Neuroscience, 1991. V. 3. P. 72-86.

48. Pentland A., Moghaddam В., Starner T. View-Based and Modular Eigenspaces for Face Recognition // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 1994. P. 84-91.

49. Beveridge J.R., She K., Draper B.A., Givens G.H. A nonparametric statistical comparison of principal component and linear discriminant subspaces for face recognition // In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001. P. 535-542.

50. Stan Z.Li, Anil K. Jain. Handbook of Face Recognition // Springer Science+Business Media, 2005. 408 p.

51. Ojala Т., Pietikainen M., Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns // IEEE Transactions on Pattern Analysis and Machine Intelligence 24, 2002. P. 971-987.

52. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения // М.: Едиториал УРСС, 2011. 256 с.

53. Chandra С., Moore M., Mitra S. An efficient method for the removal of impulse noise from speech and audio signals // Proc. of the 1998 IEEE International Symposium on circuits and systems (ISCAS '98), 1998. V. 4. P. 206-208.

54. Lightstone M., Abreu E., Mitra S.K., Arakavva K. State-conditioned rank-ordered filtering for removing impulse noise in images // IEEE International Symposium on circuits and systems (ISCAS '95), 1995. V. 2. P. 957-960.

55. Hasan M., Marvasti E. Efficient rank-ordered mean (ROM) techniques for the recovery of isolated losses in highly corrupted images // IEEE Communications Letters, 2000. V. 4, № 10. P. 321 322.

56. Moore M., Mitra S. Statistical threshold design for the two-state signal-dependent rank order mean filter // Proc. International Conference on image processing, 2000. V. 1. P. 904 907.

57. Tao Chen, Hong Ren Wu. A new class of median based impulse rejecting filters // Proc. of the 2000 International Conference on image processing, 2000. V. 1. P. 916-919.

58. Приоров A.JI., Апальков И.В., Герасимов Н.Б., Павлов Е.А. Алгоритмы оценки качества видеопоследовательностей, сжатых по стандарту Motion JPEG2000 // Успехи современной радиоэлектроники. 2012. № 10. С. 59-65.

59. Приоров А.Л., Хрящёв В.В., Павлов Е.А., Герасимов Н.Б., Шемяков A.M. Оценка качества цветных изображений при подавлении импульсного шума // Радиотехника. 2013. № 5. С. 41-49.

60. Павлов Е.А., Гущина O.I I., Приоров А.Л., Хрящев В.В. Неэталонный алгоритм оценки качества изображений с использованием дискретного косинусного преобразования // Успехи современной радиоэлектроники. 2013. № 11.

61. Апальков И.В., Герасимов Н.Б., Гущина О.Н., Павлов Е.А. PicLab.SQA -программа для проведения субъективной экспертизы оценки качества

изображений // Свидетельство о государственной регистрации программы для ЭВМ №2011612002 от 18 мая 2011.

62. Хрящев В.В., Куйкин Д.К., Павлов Е.А. Нейросетевой переключающийся медианный фильтр для удаления импульсного шума // Вестн. Яросл. гос. ун-та. Сер. Физика. Радиотехника. Связь. 2008. № 1. С. 128-132.

63. Бухтояров С.С., Герасимов Н.Б., Павлов Е.А., Хрящёв В.В. Анализ нелинейных алгоритмов удаления шума из изображений (доклад) // Доклады 9-й Международной конференции «Цифровая обработка сигналов и ее применение», Москва, 2007. Т.2. С. 378-381.

64. Бекренев В.А., Павлов Е.А Анализ алгоритмов сжатия изображений в среде Piclab // Тез. докладов XV междунар. студ. школы-семинара. Москва, 2007. С. 214-215.

65. Павлов Е.А., Студёнова A.A. Удаление импульсного шума из изображений // XI Всероссийская научная конференция студентов-радиофизиков: Тез. докл. СПб.: Изд-во Политехи, ун-ва, 2007. С. 95-97.

66. Герасимов Н.Б., Куйкин Д.К., Павлов Е.А.Сравнение алгоритмов удаления шума из цифровых изображений // Матер. VI Всерос. науч.-техн. конф. «Динамика нелинейных дискретных электротехнических и электронных систем». Чебоксары, 2007. С. 151-152.

67. Куйкин Д.К., Павлов Е.А., Студёнова A.A. Удаление импульсного шума со случайными значениями импульсов из изображений // Докл. 10-й междунар. коиф. «Цифровая обработка сигналов и ее применение» (DSPA-2008), Москва, 2008. Т.2. С. 511-514.

68. Зараменский Д.А., Студёнова A.A., Павлов Е.А. Удаление импульсного шума со случайными значениями импульсов из изображений // Тезисы докладов 14-ой межд. науч.-тех. конф. «Радиоэлектроника, электротехника и энергетика». Москва. 2008. Т.1, С. 102-103.'

69. Абдуллоев A.A., Павлов Е.А., Счуденова A.A. Среда обработки

изображений - PICLAB // Тезисы докладов 14-ой межд. науч.-тех. конф.

116

«Радиоэлектроника, электротехника и энергетика». Москва. 2008. Т.1, С. 290-291.

70. Куйкин Д.К., Павлов Е.А., Студенова A.A. Направленный взвешенный медианный фильтр для удаления импульсного шума из изображений // Матер. 15-ой межд. науч.-тех. конф. «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань. 2008. Т. 2, С. 122-123.

71. Герасимов Н.Б., Павлов Е.А., Куйкин Д.К. Исследовательская среда для обработки изображений PicLab // Труды науч.-тех. конф. «Проблемы автоматизации и управления в технических системах». Пенза. 2008. С. 315-318.

72. Герасимов Н.Б., Гущина О.Н., Павлов Е.А. Метод неэталонной оценки качества изображений на основе статистической модели искажений // Тр. LXVI науч. сессии, посвященной Дню Радио. Москва, 2011. С. 347350.

73. Герасимов Н.Б., Гущина О.Н., Павлов Е.А. Разработка и анализ методов неэталонной оценки качества изображений // Матер, всеросс. науч. конф. «Молодые исследователи - регионам». Вологда, 2011. Т. 1. С. 6769.

74. Павлов Е.А. Слепая оценка качества изображений с неизвестным типом искажения // Тез. докл. 18-й междунар. науч.-тех. конф. «Радиоэлектроника, электротехника и энергетика». Москва, 2012. Т. 1. С. 118.

75. Павлов Е.А., Павлов В.А., Шемяков A.M., Кисельникова O.A. Фильтрация гауссова шума и оценка качества полноцветных изображений // Докл. 14-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2012), Москва, 2012. Т. 2. С. 292-294.

76. Герасимов Н.Б., Гущина О.Н., Павлов Е.А. Использование адаптивного дискретного косинусного преобразования для удаления гауссова шума

из изображений // Тр. LXV науч. сессии, посвященной Дню Радио. Москва, 2010. С. 361-363.

77. Павлов Е.А., Приоров A.JL, Студенова А.А., Шемяков A.M. Неэталонная оценка качества сжатых, зашумленных и размытых изображений // Докл. 15-й междунар. конф. «Цифровая обработка сигналов и ее применение» (DSPA-2013), Москва, 2013. Т. 2. С. 104-106.

78. Tao Н., Sawhney Н., Kumar R. Object tracking with bayesian estimation of dynamic layer representations // IEEE Trans. Patt. Analy. Mach. Intell. 24, 1, 2002. P. 75-89.

79. Black M., Jepson A. Eigentracking: Robust matching and tracking of articulated objects using a view-based representation // Int. J. Comput. Vision, 26, 1, 1998. P. 63-84.

80. Avidan S. Support vector tracking // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2001. P. 184-191.

81. Bertalmio M., Sapiro, G., Randall G. Morphing active contours // IEEE Trans. Patt. Analy. Mach. Intell. 22, 7, 2000. P. 733-737.

82. Huttenlocher D., Noh J.; Rucklidge W. Tracking nonrigid objects in complex scenes // In IEEE International Conference on Computer Vision (ICCV), 1993. P.93-101.

83. Sato K., Aggarwal J. Temporal spatio-velocity transform and its application to tracking and interaction // Comput. Vision Image Understand. 96, 2, 2004. P. 100-128.

84. Kang J., Cohen I., Medioni G. Object reacquisition using geometric invariant appearance model // In International Conference on Pattern Recongnition (ICPR), 2004. P. 759-762.

85. Sirovitch L., Kirby M. Low-Dimensional Procedure for the Characterization of Human Faces //J. Optical Soc. Of Am. A., 1987. V. 2, P. 519-524.

86. Turk M., Pentland A. Face Recognition Using Eigenfaces // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 1991. P. 586-591.

87. Hallinan P. A Low-Dimensional Representation of Human Faces for Arbitrary Lighting Conditions // Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 1994. P. 995-999.

88. Murase H., Nayar S. Visual Learning and Recognitions of 3D Objects from Appearance // Int' 1 J. Computer Vision, 1995. V. 14 P. 5-24.

89. Журавлев Ю.И., Рязанов B.B., Сенько O.B. Распознавание. Математические методы. Программная система. Практические применения. // М.: Фазис, 2005. 159 с.

90. Fisher R.A. The Use of Multiple Measures in Taxonomic Problems // Ann. Fugenics, 1936. V. 7 P. 179-188.

91. Phillips P.J., Wechsler H., Huang J., Rauss P. The FERET database and evaluation procedure for face recognition algorithms // Image and Vision Computing, 1998.