Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Пьянков, Дмитрий Игоревич

• Пьянков, Дмитрий Игоревич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Пьянков, Дмитрий Игоревич

Содержание

ВВЕДЕНИЕ

Глава 1. Анализ методов и систем временной и пространственной обработки видеопоследовательностей

1.1 Анализ методов временной коррекции видеопоследовательностей

1.1.1 Методы преобразования частоты кадров без оценки движения

1.1.2 Методы преобразования частоты кадров на основе оценки движения

1.2 Анализ методов пространственной коррекции

видеопоследовательностей

1.2.1 Методы выделения особенностей изображений

1.2.2 Методы сопоставления особенностей изображений

1.2.3 Методы выравнивания изображений

1.3 Анализ существующих систем пространственно-временной коррекции видеопоследовательностей

1.4 Выводы по главе

Глава 2. Пространственно-временная коррекция видеопоследовательностей

2.1 Предварительная обработка сцены видеопоследовательностей

2.2 Временная обработка сцены видеопоследовательностей

2.2.1 Предварительная оценка движения

2.2.2 Уточненная оценка движения для видеопоследовательностей с быстрой скоростью передвижения объектов

2.2.3 Уточненная оценка движения для видеопоследовательностей с медленной скоростью передвижения объектов

2.2.4 Интерполяция кадров

2.3 Пространственная обработка сцены видеопоследовательностей

2.3.1 Выравнивание некалиброванных видеопоследовательностей

2.3.2 Совмещение видеопоследовательностей

2.4 Алгоритм пространственно-временной коррекции

видеопоследовательностей

2.5 Выводы по главе

Глава 3. Построение экспериментальной комплексной системы пространственно-временной коррекции видеопоследовательностей и экспериментальные результаты

3.1 Структурная схема комплекса пространственно-временной коррекции

видеопоследовательностей

3.2 Описание модулей экспериментальной системы

3.3 Результаты экспериментальных исследований модуля временной

коррекции видеопоследовательностей

3.4 Результаты экспериментальных исследований модуля

пространственной коррекции видеопоследовательностей

3.5 Разработанное программное обеспечение для фреймсервера «Ау18упШ»

и результаты экспериментальных исследований

3.6 Выводы по главе

ЗАКЛЮЧЕНИЕ

Библиографический список

ПРИЛОЖЕНИЕ 1 - Описание файловых структур разработанных плагинов для фреймсервера «Ау18упШ»

Введение диссертации (часть автореферата) на тему «Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения»

ВВЕДЕНИЕ

Актуальность работы. В настоящее время

стереовидеопоследовательности используются в киноиндустрии, в технических, геоинформационных системах, системах контроля и навигации. Стереовидеопоследовательность можно преобразовать под метод просмотра при помощи анаглифных очков, линейной поляризации или затворных ЖК-панелей; с другой стороны, на основе стереовидеопоследовательности можно извлечь глубину сцены и вычислить расстояние до объектов относительно центра камер. Методы оценки движения и интерполяции кадров могут применяться при сжатии изображений, преобразовании форматов видео, повышении качества видеоматериалов. Методы интерполяции видеопоследовательностей позволяют восстанавливать поврежденные кадры, делают движение объектов плавным и более приятным при просмотре.

Наиболее активные разработки в сфере пространственной и временной коррекции видеопоследовательностей проводятся такими российскими университетами, как: Институт систем обработки изображений РАН (г. Самара), Московский государственный университет, Санкт-Петербургский государственный университет информационных технологий, механики и оптики, Ярославский государственный университет и ряд других организаций. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, чл.-корр. РАН, д.т.н. В.А. Сойфер, д.т.н. В.П. Пяткин, д.т.н. J1.M. Местецкий, д.т.н. В.В. Сергеев, к.т.н. A.A. Лукьяница, д.ф.-м.н. Ю.В. Визильтер. Большой вклад в развитие теории обработки изображений внесли A.C. Алексеев, Т.Б. Борукаев, P.E. Быков, Г.И. Василенко, Ю.Г. Васин, К.К. Васильев, Г.Л. Гимельфарб, Ю.И. Журавлев, B.C. Киричук, Г.П. Катыс, В.Р. Крашенинников, А.П. Немирко, А.И. Перов, Ю.П. Пытьев, Ю.Г. Сосулин, A.A. Спектор, Я.А. Фурман, Н.Г. Федотов и другие.

Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of California, Massachusetts Institute of Technology, (США), The University of Queensland (Австралия), University of Manchester, Cambridge (Англия), Soongsil University (Южная Корея), University of Muenster (Германия).

Однако до сих пор существуют проблемы при построении стереовидеопоследовательностей на основе несинхронизированных видеопоследовательностей. Стереокадры должны быть максимально синхронизированы между собой. С одной стороны проблема решается при помощи аппаратной синхронизации и калибровки камер до стереосъемки. С другой стороны, не всегда имеется возможность калибровки камер до начала стереосъемки, к тому же сцена может быть снята одной и той же камерой с разных ракурсов. Бюджетный вариант видеокамер не позволяет достичь синхронной записи при частоте 24-30 кадров в секунду ввиду различных факторов: различного времени доступа к устройству хранения, несинхронного старта и т. д. Это обуславливает необходимость длительной обработки и коррекции двух видеопоследовательностей в видеоредакторах, что довольно затруднительно. Таким образом, данное направление нуждается в совершенствовании методов и алгоритмов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения.

Целью диссертационной работы является повышение качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Поставленная цель определила необходимость решения следующих

задач:

1. Провести анализ методов, алгоритмов и систем оценки движения и интерполяции, совмещения видеопоследовательностей.

2. Разработать метод временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей.

3. Усовершенствовать метод пространственной обработки видеопоследовательностей на основе ректификации некалиброванных видеокадров для совмещения видеопоследовательностей.

4. Создать алгоритм пространственно-временной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

5. Создать экспериментальный программный комплекс по оценке движения, интерполяции и ректификации некалиброванных видеопоследовательностей.

6. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 - системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория математической морфологии, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод временной обработки видеопоследовательностей, основанный на двухэтапной оценке движения видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением при помощи моментов Зернике и Ху, позволяющий скомпенсировать шумы, дрожание камеры, повысить устойчивость к аффинным преобразованиям объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

2. Разработан метод временной обработки видеопоследовательностей на основе применения статистик высших порядков, позволяющий производить

оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

3. Усовершенствован метод пространственной обработки видеопоследовательностей, повышающий количество и качество точных соответствий между некапиброванными кадрами видеопоследовательностей на основе процедуры исключения ложных точек, отличающийся устойчивостью фундаментальной матрицы и точностью карт диспаритета при ректификации.

4. Создан алгоритм пространственно-временной коррекции видеопоследовательностей, позволяющий повысить качество анализа данных в задачах стереовидения при обработке несинхронизированных видеопоследовательностей.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеоредактирования, для анализа данных, полученных аэрофотосъемкой и спутниковой фотографией, в системах стереозрения. На основе диссертационных исследований разработана библиотека программных модулей для создания систем оценки движения и интерполяции кадров видеопоследовательностей, для построения стереовидеопоследовательности из несинхронизированных

видеопоследовательностей.

Реализация результатов работы. Разработанная программа «Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (МойопМотегйз у.1)» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 16 ноября 2012 г. (свидетельство № 2012660384).

Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 18 марта 2013 года.

Получен акт об использовании материалов диссертационного исследования в учебном процессе Сибирского государственного аэрокосмического университета. Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении лекций, лабораторных и практических занятий по дисциплинам «Теоретические основы цифровой обработки изображений», «Алгоритмы обработки изображений и видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете им. академика М. Ф. Решетнева.

Основные положения, выносимые на защиту:

1. Разработанный метод временной обработки видеопоследовательностей с применением моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработанный метод временной обработки видеопоследовательностей с применением статистик высших порядков для видеопоследовательностей с медленной скоростью передвижения объектов.

3. Усовершенствованный метод пространственной обработки видеопоследовательностей для повышения качества ректификации некалиброванных кадров видеопоследовательностей.

4. Алгоритм пространственно-временной обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XII, XIII и XVI международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2012 гг.), XI всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2012), всероссийской конференции «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации»

(Новосибирск, 2008, 2009, 2010, 2012), 13-й и 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение» (Москва, 2011, 2013), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2010), I всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010), всероссийских конференциях «Актуальные проблемы авиации и космонавтики» (Красноярск, 2008, 2009), VII всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2008), а также на научных семинарах лаборатории систем цифровой обработки изображений СибГАУ.

Публикации. По результатам диссертационного исследования опубликовано: 21 печатная работа, из них 3 статьи в изданиях, рекомендованных ВАК для публикации результатов диссертационных исследований, 17 тезисов докладов, 1 свидетельство, зарегистрированное в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 129 страниц, изложение иллюстрируется 39 рисунками и 13 таблицами. Библиографический список включает 172 наименования.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Пьянков, Дмитрий Игоревич

3.6 Выводы по главе

В третьей главе было рассмотрено разработанное экспериментальное программное обеспечение пространственно-временной коррекции видеопоследовательностей. Программное обеспечение имеет модульную организацию и состоит из трех модулей: модуль предварительной обработки, модуль временной коррекции, модуль пространственной коррекции. Подробно рассмотрены схемы функционирования указанных модулей.

Проведено тестирование модуля временной коррекции видеопоследовательностей для оценки векторов движения объектов с использованием трех методов (SSD, моменты Ху, моменты Зернике) при помощи тестовых видеопоследовательностей, включающих объекты, движущихся с разными скоростями движения, поступательно и с вращением. Представлены результаты экспериментальных исследований для каждого метода: максимальное значение ошибки при нахождении вектора движения, точность векторов движения при поступательном и вращательном движении объектов для базы видеопоследовательностей «Xiph.org Video Test Media» (США). Результаты экспериментальных исследований показывают эффективность использования метода оценки движения на основе моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поскольку он дает самую высокую точность найденных векторов (до 86%), особенно при вращении объектов, и устойчив к шумам на видеокадрах.

Также было проведено тестирование модуля временной коррекции видеопоследовательностей для оценки векторов движения объектов при помощи метода обнаружения движения на основе эксцесса для базы видеопоследовательностей «Action Database» (Великобритания). Экспериментальные исследования показали, что для видеопоследовательностей с медленной скоростью передвижения объектов метод оценки движения на основе эксцесса дает более точный результат

88% правильных соответствий), чем метод обнаружения движения на основе моментов Зернике.

Проведено тестирование модуля пространственной коррекции видеопоследовательностей для оценки точности фундаментальной матрицы и карт диспаритета на основе базы изображений Миддлберийского колледжа (США). Результаты экспериментальных исследований показали, что предлагаемый усовершенствованный алгоритм совмещения некалиброванных пар видеокадров превосходит существующие алгоритмы на 3-4%.

Представлена реализация предложенного алгоритма пространственно-временной коррекции видеопоследовательностей в виде двух плагинов для фреймсервера «Ау18упШ». Результаты экспериментальных исследований показывают точность и скорость интерполяции кадров в зависимости от выбранного размера блока, различного типа движения в видеопоследовательностях.

ЗАКЛЮЧЕНИЕ

В диссертационной работе исследовалась задача повышения качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Был проведен анализ существующих методов и алгоритмов пространственно-временной коррекции видеопоследовательностей, предназначенных для решения проблемы построения стереовидеопоследовательностей на основе несинхронизированной пары видеопоследовательностей. Методы преобразования частоты кадров % видеопоследовательностей с оценкой движения делятся на группы: методы, основанные на оптическом потоке, блочно-сопоставительные методы, методы фазовой корреляции. Блочно-сопоставительные методы являются быстрыми, а также дают более точные интерполированные кадры при преобразовании частоты кадров в видеопоследовательностях, в отличие от других методов.

Методы выделения и сопоставления особенностей изображений, выравнивания изображений, вычисления карт диспаритета осуществляют поиск особых инвариантных точек и дескрипторов на изображениях, и предназначены для сравнения похожих изображений между собой и переноса неректифицированных изображений в одну плоскость.

Существующие программные средства видеоредактирования, решающие задачу преобразования частоты кадров для получения интерполированных кадров и совмещения кадров, ограничены в возможности автоматической обработки видеопоследовательностей, коррекция несинхронизированных видеопоследовательностей требует активного участия оператора.

В диссертационной работе предложен метод временной обработки видеопоследовательностей с применением моментов Зернике, позволяющий производить оценку движения для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

Разработан эффективный метод временной обработки видеопоследовательностей с применением статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов. Предложен алгоритм интерполяции кадров для повышения плавности движения объектов в видеопоследовательностях.

Также представлен усовершенствованный метод пространственной обработки несинхронизированных видеопоследовательностей, позволяющий повысить количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей, устойчивость фундаментальной матрицы при ректификации некалиброванных кадров видеопоследовательностей. Предложен алгоритм совмещения откалиброванных интерполированных видеопоследовательностей для построения стереовидеопоследовательностей.

На основе предложенных методов разработан алгоритм пространственно-временной коррекции видеопоследовательностей для повышения качества обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

На основе предложенных методов разработан экспериментальный комплекс пространственно-временной коррекции видеопоследовательностей в задачах стереовидения. Комплекс представляет собой модульное приложение, состоящее из трех модулей: модуль предварительной обработки, модуль временной коррекции, модуль пространственной коррекции. Также представлены схемы функционирования модулей.

При помощи разработанного модуля тестирования произведена оценка векторов движения объектов с использованием трех методов (SSD, моменты Ху, моменты Зернике) при помощи тестовых видеопоследовательностей. Тестовая база видеопоследовательностей «Xiph.org Video Test Media» (США) включает включающих объекты, движущихся с разными скоростями движения, поступательно и с вращением. Для каждого метода представлены результаты экспериментальных исследований: точность векторов движения при поступательном и вращательном движении объектов, максимальное значение ошибки при нахождении вектора движения. Экспериментальные исследования показали эффективность использования метода оценки движения на основе моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения, поскольку он дает самую высокую точность найденных векторов (до 86%).

Для оценки векторов движения объектов при помощи метода обнаружения движения на основе эксцесса для базы видеопоследовательностей «Action Database» (Великобритания) было проведено тестирование модуля временной коррекции. В результате тестирования было получено, что метод оценки движения на основе эксцесса дает точный результат (88% правильных соответствий) для видеопоследовательностей с медленной скоростью передвижения объектов.

Представленный алгоритм пространственно-временной коррекции видеопоследовательностей был реализован в виде плагинов для фреймсервера «Avisynth». Произведено тестирование разработанных плагинов, показывающих скорость и точность интерполяции кадров в зависимости от различного типа движения и выбранного размера блока в видеопосле довател ьностях.

Для оценки эффективности усовершенствованного метода пространственной обработки несинхронизированных видеопоследовательностей было проведено тестирование на основе базы изображений Миддлберийского колледжа (США). Экспериментальные исследования показали, что предлагаемый алгоритм совмещения некалиброванных пар видеокадров превосходит существующие алгоритмы на 3-4%.

Список литературы диссертационного исследования кандидат технических наук Пьянков, Дмитрий Игоревич, 2013 год

Библиографический список

1. Аленин, В.А. Выделение и сравнение точечных особенностей на изображениях объекта / Аленин В.А., Куляс О.Л. // Инфокоммуникационные технологии. - 2011. - Т. 9, № 4. - С. 72-81.

2. Балахтин, А. Плагины для AviSynth. Русские ресурсы утилиты AviSynth [Электронный ресурс] - Электрон, дан. - Режим доступа: http://avisynth.org.ru/fizick-rus.html - Загл. с экрана.

3. Буряченко, В.В. Алгоритм стабилизации видео, основанный на методе соответствия блоков // IX Всероссийская научно-практическая конференция студентов, аспирантов и молодых ученых с международным участием: Молодежь и современные информационные технологии 2011. В 2 ч., 4.1, Томск, 2011. - С. 224-225.

4. Ватолин, Д, Гришин, С. AviSynth MSU Frame Rate Conversion Filter. Сайт о сжатии [Электронный ресурс] - Электрон, дан. - Режим доступа: http://compression.ru/video/frame rate conversion/index msu.html - Загл. с экрана.

5. Волегов, Д. Юрин, Д. Поиск карты смещений по пирамиде детальности // 17-я международная конференция по компьютерной графике и ее приложениям ГрафиКон. Москва, 2007. - С. 223-226.

6. Гласман, К. Преобразование стандартов: методы оценки векторов движения // Журнал «625», № 8, 2006.

7. Гласман, К. Преобразование стандартов: принципы технических решений // Журнал «625», № 7, 2005. - С. 79-87.

8. Гришин, С. Алгоритм вычисления параметров наложений для задачи преобразования частоты кадров цифровых видеосигналов / С. Гришин, Д. Ватолин, К. Симонян // Новые информационные технологии в

автоматизированных системах: матер. 12 науч.-практич. сем. Московский государственный институт электроники и математики, 2009. - С. 19-29.

9. Гришин, С. Обзор блочных методов оценки движения в цифровых видеосигналах. / С. Гришин, Д. Ватолин, А. Лукин, С. Путилин, К. Стрельников // Тематический сборник «Программные системы и инструменты» №9, Москва, 2008. - С. 50-62.

10. Гришин, С., Ватолин, Д. Быстрый алгоритм преобразования частоты кадров // Программные продукты и системы, 2009. Т. 2. - С. 159— 163.

11. Дамов, М.В. Реализация детектора особенных точек изображения видеопоследовательности для многоядерных систем // В материалах всероссийской научно-практической конференции «Теоретические и прикладные вопросы современных информационных технологий», в 2 ч., Ч. 2, Улан-Удэ, 2009. - С. 481^183.

12. Дружинин, Д. Алгоритм оценки движения, адаптированный для обработки экранного видео // Информационные технологии и математическое моделирование (ИТММ - 2011). Ч. 1. Томск, 2011. - С. 3439.

13. Зубарев, Ю.Б. Методы анализа и компенсации движения в динамических изображениях /Ю.Б. Зубарев, В.П. Дворкович, В.В. Нечепаев, А.Ю. Соколов // Журнал «Электросвязь», №11, 1998. - С. 15-21.

14. Котюжанский, Л.А. Вычисление карты глубины стереоизображения на графическом процессоре в реальном времени // Фундаментальные исследования, №6, 4.2, 2012. - С. 444-449.

15. Кривовязь, Г., Черников, А., Велижев, А. Автоматическое сопоставление изображений и облака трехмерных точек // Графикон, 2011.

16. Кубасов, Д., Ватолин, Д., Обзор методов компенсации движения. Компьютерная Графика и Мультимедиа. Сетевой журнал. [Электронный

ресурс] - Электрон. дан. - Режим доступа: http://cgm.computergraphics.ru/content/view/76 - Загл. с экрана.

17. Кузнецов, А.Е., Побаруев В.И., Пошехонов В.И. Организация процесса построения карты диспарантности по стереоизображениям // Математическое и программное обеспечение вычислительных систем: межвуз. сб. науч. тр. - Москва, 2008. - С. 85-91.

18. Кузнецов, А.Е., Побаруев, В.И., Пошехонов, В.И. Идентификация одноименных точек на стереоснимках с использованием алгоритмов оптимизационного поиска // Информатика и прикладная математика: межвуз. сб. науч. тр. Рязань, 2008. - С. 83-90.

19. Лукьяница, A.A., Шишкин, А.Г. Цифровая обработка видеопоследовательностей // Издательство «Ай-Эс-Эс Пресс», - М.: 2009. -518с.

20. Мороз, В.В. Моделирование систем передачи видео с использованием методов пространственной и временной интерполяции // Сб. научн. тр. Одесск. национ. политехи, ун-та: Проблеми шформатизацн та управлшня. Выпуск 1 (23). - С. 23-29, 2008.

21.Пахирка, А.И. Методы поиска движения в видеопоследовательностях / М.Н. Фаворская, А.И. Пахирка, A.C. Шилов, М.В. Дамов // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 1 (22) в 2 частях, Ч. 2, Красноярск, 2009. - С. 69-74.

22. Пименов, В.Ю. Оценка метода выявления точечных особенностей изображения в задаче поиска нечетких дубликатов в коллекции изображений // Вестник Санкт-Петербургского университета (10), №03, 2009. - С. 228-239.

23. Потапов, П., Кориков, А. Алгоритм поиска векторов похожести при сжатии видеоданных // Известия Томского политехнического университета, 2008.-С. 34-36.

24. Пьянков, Д.И. Алгоритмы пространственно-временной коррекции видеопоследовательностей в задачах стереовидения // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - Вып. 4 (37), Красноярск, 2011. - С. 69-74.

25. Пьянков, Д.И. Алгоритмы фрактального сжатия изображений // В материалах IV всероссийской научно-практической конференции творческой молодежи «Актуальные проблемы авиации и космонавтики», Красноярск, 2008. - С. 236-237.

26. Пьянков, Д.И. Анализ методов и систем оценки движения, сегментации и сопоставления видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 7 ч., Ч. 2, Новосибирск, 2012. - С. 120-122.

27. Пьянков, Д.И. Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (МойопМошеЩБ у.1) / Д.И. Пьянков, М.Н. Фаворская // Свидетельство № 2012660384. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 ноября 2012 г.

28. Пьянков, Д.И. Вейвлет-функция для сжатия изображений // В материалах XIII международной научной конференции «Решетневские чтения», Красноярск, 2009. - С. 532-533.

29. Пьянков, Д.И. Интерполяция кадров в задачах пространственно-временной коррекции стереовидеопоследовательностей // В материалах 13-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т., Т.2, М., 2011. - С. 173-176.

30. Пьянков, Д.И. Классификация методов автоматической сегментации для сжатия изображений // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 7 ч., Ч. 2, Новосибирск, 2009. - С. 70-71.

31. Пьянков, Д.И. Классификация методов сегментации видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 6 ч., Ч. 3, Новосибирск, 2011. - С. 70-72.

32. Пьянков, Д.И. Классификация методов сжатия изображений // В материалах всероссийской научной конференции молодых ученых в 7-и частях. «Наука. Технологии. Инновации», в 7 ч., Ч. 1, Новосибирск, 2008. -С. 212-214.

33. Пьянков, Д.И. Коррекция некалиброванных видеопоследовательностей на основе интерполяции и совмещения кадров / М.Н. Фаворская, Д.И. Пьянков // В материалах 15-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т., Т.2, М., 2013. -С. 26-28.

34. Пьянков, Д.И. Метод систем итерируемых функций для сжатия изображений // В сборнике материалов XII международной научной конференции «Решетневские чтения», Красноярск, 2008. - С. 215-216.

35. Пьянков, Д.И. Обзор методов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В трудах I всероссийской научной конференции молодых ученых «Теория и практика системного анализа», в 2 т., Т.1, Рыбинск, 2010.-С. 105-111.

36. Пьянков, Д.И. Оценка движения для интерполяции кадров в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В материалах 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций», Рязань, 2010. -С. 151-152.

37. Пьянков, Д.И. Оценка движения на основе инвариантных моментов в задаче интерполяции стереовидеопоследовательностей / М.Н.Фаворская,

Д.И. Пьянков // Вестник компьютерных и информационных технологий, 2013, №3,- С. 14-20.

38. Пьянков, Д.И. Поиск соответствий на основе оценок плотности потоков движения в задачах стереовидения / М.Н. Фаворская, Д.И. Пьянков // Техническое зрение в системах управления, 2013.

39. Пьянков, Д.И. Практическая реализация методов оценки движения в задаче интерполяции видеопоследовательностей // В материалах XVI международной научной конференции «Решетневские чтения», в 2 ч., Ч. 2, Красноярск, 2012. - С. 636-637.

40. Пьянков, Д.И. Практическая реализация фрактального алгоритма сжатия изображений // В сборнике трудов VII Всероссийской научно-практической конференции с международным участием «Информационные технологии и математическое моделирование», Анжеро-Судженск, 2008. - С. 56-57.

41. Пьянков, Д.И. Пространственная обработка несинхронизированных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы, 2013, № 1. - С. 61-66.

42. Пьянков, Д.И. Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения / М.Н. Фаворская, Д.И. Пьянков, А.Н. Горошкин // Механика, управление и информатика. - Вып. 8, М., 2012.- С. 122-126.

43. Пьянков, Д.И. Сравнение основных методов сжатия видеопоследовательностей // В материалах V всероссийской научно-практической конференции творческой молодежи «Актуальные проблемы авиации и космонавтики», Красноярск, 2009. - С. 301-302.

44. Пьянков, Д.И. Формирование инвариантного ансамбля векторов для оценки движения в видеопоследовательностях / Д.И. Пьянков, А.Н. Горошкин // Теоретические и прикладные вопросы современных информационных технологий, Улан-Удэ, 2012. - С. 402-405.

106

45. Рубина, И.С. Анализ методов построения траектории движущихся объектов на основе сегментации видеоданных // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики, 2011, - С. 127-132.

46. Симонян, К. Адаптивный метод оценки движения в видео. / К. Симонян, С. Гришин, Д. Ватолин // Сб. статей молодых ученых фак-та ВМиК МГУ. Вып. 5. М„ 2008. - С. 112-119.

47. Симонян, К. Метрика доверия векторам движения видеопотока. / К. Симонян, С. Гришин // Сборник тезисов XV Международной научной конференции студентов, аспирантов и молодых учёных «Ломоносов-2008», М., 2008.-С. 79.

48. Фаворская, М.Н. Иерархический метод поиска соответствующих точек на стереоизображениях / М.Н. Фаворская, И.В. Тупицын // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева, СибГАУ. - Вып. 1 (47), Красноярск, 2012. - С. 62-67.

49. Фаворская, М.Н. Оценка движения объектов в сложных сценах на основе тензорного подхода // Цифровая обработка сигналов, № 1,2010. - С. 2-9.

50. Финогеев, А.Г., Четвергова, М.В. Методика распознавания изображений на основе рандомных деревьев в системах автоматизированного проектирования расширенной реальности // Современные проблемы науки и образования, 2012. - № 5.

51. Ханова, А. А. Интерполяция функций. / А. А. Ханова, И. Г. Макарова // Методическое пособие для студентов Института информационных технологий и коммуникаций. - Астрахань. Изд-во АГТУ, 2001. - С. 15-16.

52. Черно дуб, Н. Метод выделения признаков на основе совместных векторов моментных фазовых распределений и моментов Зернике // Proceedings of XVI-th International Conference «Knowledge - Dialogue -Solution», Киев, 2010. - С. 162-169.

53. Юрин, Д. Современные концепции восстановления трехмерных сцен по набору цифровых изображений: наполнение систем виртуальной реальности // Труды Первой международной конференции «Трехмерная визуализация научной, технической и социальной реальности. Кластерные технологии моделирования», т. I. Ижевск, УдГУ, 2009. - С. 96-100.

54. Aner-Wolf, A., Kender, J. Video summaries and cross-referencing through mosaic-based representation // Computer Vision and Image Understanding 95(2), pp. 201-237, 2004.

55. Argyriou, V. Sub-Hexagonal Phase Correlation for Motion Estimation // IEEE Transactions on Image Processing 20(1), pp. 110-120, 2011.

56. Argyriou, V., Vlachos, T. Low complexity dense motion estimation using phase correlation // 16th International Conference on Digital Signal Processing, pp. 1-6, 2009.

57. Bao, X., Zhou, D., Peilin, L., Goto, S. An advanced hierarchical motion estimation scheme with lossless frame recompression for ultra high definition video coding // IEEE International Conference on Multimedia and Expo, pp. 820825, 2010.

58. Baohua, Z., Yuanchun, J., Jianfeng, Z., Dahua, Y., Quanlin, Z. Fingerprint Template Matching Algorithm Based on Daubechies Wavelet // International Conference on Communication Software and Networks, pp. 807-811, 2009.

59. Bay, H., Ess, A., Tuytelaars ,T., Gool, L.V. SURF: Speeded Up Robust Features // Computer Vision and Image Understanding, 2008. Vol. 110(3), pp. 346-359.

60. Bentolila, J., Francos, J. Affine consistency graphs for image representation and elastic matching // 19th IEEE International Conference on Image Processing (ICIP), pp. 2365-2368, 2012.

61.Bouguet, J.Y. Pyramidal Implementation of the Lucas-Kanade Feature Tracker Description of the algorithm // Intel Corporation, Microprocessor Research Labs, OpenCV Documents; 2000.

62. Bracewell, R.N. The Fourier Transform and Its Applications // McGraw-Hill Science. - 540 pages, 1999.

63. Caetano, T., Caelli, T. A Unified Formulation of Invariant Point Pattern Matching // ICPR (3), 2006, pp. 121-124.

64. Cajote, R., Aramvith, S., Miyanaga, Y. FMO-based H.264 frame layer rate control for low bit rate video transmission // EURASIP J. Adv. Sig. Proc. 2011: 63, pp. 1-11,2011.

65. Chandan, S., Neerja, M., Ekta, W. Face recognition using Zernike and complex Zernike moment features // Pattern Recognition and Image Analysis, 21(1), pp. 71-81,2011.

66. Chen, G. Algorithm Research and Improvement of UMHexagonS Based on H.264/AVC // International Conference on Video Standard E-Product E-Service and E-Entertainment, pp. 1-4, 2010.

67. Chen, J., Guo, P. An Improved Relaxation Algorithm for Image Matching // Congress on Image and Signal Processing, pp. 484-488, 2008.

68. Cho, M., Lee, J., Lee, K.M. Feature correspondence and deformable object matching via agglomerative correspondence clustering // In ICCV, pp. 1280-1287, 2009.

69. Choi, K.-S., Ko, S.-J. Hierarchical motion estimation algorithm using reliable motion adoption // Electronics Letters, vol. 46, no. 12, pp. 835 - 837, 2010.

70. Chowdhury, A., Suchendra, M., Bhandarkar, S., Robinson, R., Yu, J., Liu, T. Detection of hairline mandibular fracture using max-flow min-cut and Kolmogorov-Smirnov distance // ISBI, pp. 1962-1965, 2011.

71. Du, Q., Chen, L. An image registration method based on wavelet transformation // Computer, Mechatronics, Control and Electronic Engineering (CMCE), pp. 158-160, 2010.

72. Evangelidis, G. D, Psarakis, E. Z. Parametric image alignment using enhanced correlation coefficient maximization // IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(10), pp. 1858-1865, 2008.

73. Fakheri, M., Amirani, M., Sedghi, T. Gabor Wavelets and GVF Functions for Feature Extraction in Efficient Content Based Colour and Texture Images Retrieval // 7th Iranian Machine Vision and Image Processing (MVIP), pp. 1-5,2011.

74. Fan, S., Chuang, Y. A New Image Registration Method Using Intensity Difference Data on Overlapped Image // Ubiquitous Intelligence & Computing and 7th International Conference on Autonomic & Trusted Computing, pp. 138-141, 2010.

75. Favorskaya, M. Motion Estimation for Object Analysis and Detection in Videos // Advances in reasoning-based image processing, analysis and intelligent systems: Conventional and intelligent paradigms. Eds. R. Kountchev, K. Nakamatsu. Springer-Verlag, Berlin Heidelberg, Volume 29, Part 2, pp. 211-253, 2012.

76. Forsberg, D., Farneback, G., Knutsson, H., Westin, C. Multi-modal Image Registration Using Polynomial Expansion and Mutual Information // WBIR, pp. 40-49, 2012.

77. Glaister, J, Chan, C., Frankovich, M., Tang, A, Wong, A. Hybrid Video Compression Using Selective Keyframe Identification and Patch-Based SuperResolution // ISM, pp. 105-110, 2011.

78. Glocker, B., Komodakis, N., Tziritas, G., Navab, N., Paragios, N. Dense image registration through MRFs and efficient linear programming // Medical Image Analysis, 12(6), pp. 731-741, 2008.

79. Glocker, B., Komodakis, N., Tziritas, G., Navab, N., Paragios, N. Dense Image Registration through MRFs and Efficient Linear Programming // Medical Image Analysis, Volume 12, Issue 6, 2008, pp. 731-741.

80. Haggag, M., Sharkawy, M., Fahmy, G. Modified Efficient Fast Multiplication-Free Integer Transformation for the 2-D DCT H.265 Standard // DCC, p. 455,2011.

81. He, Y., Xu, X., Sun, H. Detection of Airport Runways in Airborne SAR Images // Journal of Wuhan University, 50(3), pp. 393-396, 2004.

82. Hinterstoisser, S., Benhimane, S., Navab, N., Fua, P., Lepetit, V. Online learning of patch perspective rectification for efficient object detection // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 18, 2008.

83. Hirschmuller, H, Scharstein, D. Evaluation of stereo matching costs on images with radiometric differences // IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(9), pp. 1582-1599, 2009.

84. Hirschmuller, H. Stereo Processing by Semi-Global Matching and Mutual Information // IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 30(2), 2008, pp. 328-341.

85. Hu, J., Razdan, A., Femiani, J., Cui, M., Wonka, P. Road Network Extraction and Intersection Detection From Aerial Images by Tracking Road Footprints // IEEE T. Geoscience and Remote Sensing 45(12-2), pp. 4144-4157, 2007.

86. Hu, S. X., Xiong, Y.-M., Liao, M. Z. W., Chen, W. F. Accurate point matching based on combined moment invariants and their new statistical metric //

International Conference on Wavelet Analysis and Pattern Recognition, pp. 376381, 2007.

87. Huang, Z., Leng, J. Analysis of Hu's Moment Invariants on Image Scaling and Rotation // International Conference on Computer Engineering and Technology, pp. 476-480, 2010.

88. Hui, L., Peijun, D., Weichang, Z., Lianpeng, Z., Huasheng, S. Image registration based on corner detection and affine transformation //Image and Signal Processing (CISP), pp. 2184 -2188, 2010.

89. Huong, H., Klepko, R., Nam, N., Demin, W. A high performance hardware architecture for multi-frame hierarchical motion estimation // IEEE Transactions on Consumer Electronics, vol. 57, no. 2, pp. 794-801, 2011.

90. Ismail, Y., McNeelly, J., Shaaban, M., Bayoumi, M.A. Enhanced efficient Diamond Search algorithm for fast block motion estimation // IEEE International Symposium on Circuits and Systems, pp. 3198-3201, 2009.

91. Jakubowski, M., Pastuszak, G. Data Reuse in Two-level Hierarchical Motion Estimation for High Resolution Video Coding // SIGMAP, pp. 159-162, 2010.

92. Jana, R., Ray, C. Image Registration Using Object Shape's Chain Code // Image and Signal Processing, pp. 1-5, 2009.

93. Jia, X. Automatic ground control points refinement for remote sensing imagery registration // ISSNIP, Melbourne, Australia, pp. 145-149, 2005.

94. Kautsky, J., Flusser, J., Sroubek, F. Implicit Invariants and Object Recognition // DICTA, 2007, pp. 462-469.

95. Kesrarat, D., Patanavijit, V. A Novel Robust and High Reliability for Lucas-Kanade Optical Flow Algorithm Using Median Filter and Confidence Based Technique // 26th International Conference on Advanced Information Networking and Applications Workshops, pp. 312-317, 2012.

96. Kholaif, A., Todd, T., Koutsakis, P., Lazaris, A. Energy Efficient H.263 Video Transmission in Power Saving Wireless LAN Infrastructure // IEEE Transactions on Multimedia 12(2), pp. 142-153, 2010.

97. Kim, S., Yi, K., Oh, S., Choi, J. Recovery Video Stabilization Using MRF-MAP Optimization // ICPR, pp. 2804-2807, 2010.

98. Klein, S., Staring, M., Pluim, J. P. W. Evaluation of optimization methods for nonrigid medical image registration using mutual information and B-splines // IEEE Transactions on Image Processing, 16(12), pp. 2879-2890, 2007.

99. Kokiopoulou, E., Kressner, D., Frossard, P. Optimal image alignment with random projections of manifolds: algorithm and geometric analysis // IEEE Transactions on Image Processing, vol. 20, no. 6, pp. 1543-1557, 2011.

100. Kolmogorov, V. Graph Based Algorithms for Scene Reconstruction from Two or More Views // PhD thesis, Cornell University, September 2003.

101. Krishnamurthy, R., Woods, J., Moulin, P., Krishnamurthy, R. Frame Interpolation and Bidirectional Prediction of Video using Compactly-Encoded Optical Flow Fields and Label Fields // IEEE Trans Circ. Syst. Video Tech, Vol. 9, No. 5, pp. 713-726, 1999.

102. Kumar, D., Ramakrishnan, A. OTCYMIST: Otsu-Canny Minimal Spanning Tree for Born-Digital Images // Document Analysis Systems, pp. 389393, 2012.

103. Kumar, N., Sathidevi, P. S. Image match using wavelet - Colour SIFT features // 7th IEEE International Conference on Industrial and Information Systems (ICIIS), pp. 1-6, 2012.

104. Kumar, S., Azartash, H., Biswas, M. Truong Nguyen Real-Time Affine Global Motion Estimation Using Phase Correlation and its Application for Digital Image Stabilization // IEEE Transactions on Image Processing, 20(12), pp. 3406-3418, 2011.

105. Lee H., Jeong S., Lee J. A Real-Time System for Detecting Illegal Changes-of-Lane Based on Tracking of Feature Points // VTC Spring, pp. 1-5, 2010.

106. Lee, C.-H., Chen, L. A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid // IEEE Trans. Image Processing, 6, pp. 1587-1591, 1997.

107. Lei, Y., Jinzong, L., Dongdong, L. Discontinuity-preserving optical flow algorithm // Journal of Systems Engineering and Electronics, pp. 347-354, 2007.

108. Li, M., Wang, L., Hao, Y. Image matching based on SIFT features and kd-tree // Computer Engineering and Technology (ICCET), Volume 4, pp. 218222, 2010.

109. Li, Z, Kiya, H. Double-search-window block matching using the fast fourier transform // ICASSP, pp. 1418-1421, 2010.

110. Ling, Y., Huilin, S., Wei, L., Huijuan, Y., Jianxia, L. Numeral recognition based on projective invariants // International Forum on Strategic Technology (IFOST), Volume 2, pp. 1078-1081, 2011.

111. Liu K., Qiu, Q., Zhang, Z. A novel fast motion estimation algorithm based on block-matching // Cross Strait Quad-Regional Radio Science and Wireless Technology Conference, pp. 1402-1405, 2011.

112. Lowe, D.G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision, 2004. Vol. 60, No. 2, pp. 91-110.

113. Lucas, B, Kanade T. An iterative image registration technique with an application to stereo vision // Proceedings of the 7th International Joint Conference on Artificial Intelligence, 1981, pp. 674-679.

114. Matsushita, Y., Ofek, E., Ge, W., Tang, X., Shum, H.-Y. Full-frame video stabilization with motion inpainting // IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(7), pp. 1150-1163, 2006.

115. Milind, P. Motion estimation techniques in video processing // Electronic Engineering Times India, 2007.

116. Muja, M., Lowe, D.G // Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration, in International Conference on Computer Vision Theory and Applications, 2009.

117. Ng, E., Kingsbury, N. Matching of interest point groups with pairwise spatial constraints // ICIP, pp. 2693-2696, 2010.

118. Ning-ning, S., Chao, F, Xu, X. An effective three-step search algorithm for motion estimation // IEEE International Symposium on IT in Medicine & Education, pp. 1-4, 2009.

119. Nister, D., Davison, A. Real-Time Motion and Structure Estimation from Moving Cameras // IEEE Conference on Computer Vision and Pattern Recognition, San Diego, 2005.

120. Nouidui-Tchagou, A. Epipolar image rectification using cylinder Geometry // Institute of Computer Science in the Technical Faculty of Christian-Albrechts-University of Kiel, student project, 2006.

121. Ohm, J., Sullivan, G: High Efficiency Video Coding: The Next Frontier in Video Compression [Standards in a Nutshell] // IEEE Signal Process. Mag. 30(1), pp. 152-158, 2013.

122. Ozuysal, M., Calonder, M., Lepetit, V., Fua, P. Fast keypoint recognition using random ferns // EEEE Transactions on Pattern Analysis and Machine Intelligence, 32(3), pp. 448-461, 2010.

123. Pan, W., Qin, K., Chen, Y. An adaptable multilayer fractional Fourier transform approach for image registration // IEEE Trans. Pattern Anal. Machine Intel 1., 31(3), pp. 400-413, 2009.

124. Panning, A., Al-Hamadi, A., Michaelis, B. Facial feature point detection using simplified gabor wavelets and confidence-based grouping //

Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, pp. 2687-2692, 2012.

125. Parallel Hierarchical K-means Clustering-Based Image Index Construction Method // Distributed Computing and Applications to Business, Engineering & Science (DCABES), pp. 424-428, 2012.

126. Paramkusam, A.V. An efficient fast full search block matching algorithm with SSD criterion // India Conference (INDICON), Annual IEEE, pp. 1-6, 2011.

127. Park, M., Liu, Y., Collins, R. Efficient mean shift belief propagation for vision tracking // Computer Vision and Pattern Recognition, pp. 1-8, 2008.

128. Pollefeys, M., Gool, L. V., Vergauwen, M., Verbiest, F., Cornelis, K., Tops, J., Koch, R. Visual modeling with a hand-held camera // International Journal of Computer Vision, 59, pp. 207-232, 2004.

129. Potdar, U., Ambawade, D., Apte, R.V., Chandok, G.S., Modi, R., Sathe, B.M. Real-Time Video Encryption for H.263 Videos // Distributed Framework and Applications (DFmA), International Conference, pp. 1-5, 2010.

130. Rajwade, A., Banerjee, A., Rangarajan, A. Probability Density Estimation Using Isocontours and Isosurfaces: Applications to Information-Theoretic Image Registration // IEEE Trans. Pattern Anal. Mach. Intell. 31(3), pp. 475-491,2009.

131. Reducindo, I. Arce-Santana, E., Campos-Delgado, D. U., Vigueras-Gomez, F. Non-rigid multimodal image registration based on local variability measures and optical flow // Annual International Conference of the IEEE, Engineering in Medicine and Biology Society (EMBC), pp. 1133-1136, 2012.

132. Revaud, J., Lavoué, G., Baskurt, A. Improving Zernike moments comparison for optimal similarity and rotation angle retrieval // IEEE Transactions on Pat-tern Analysis and Machine Intelligence, vol. 31 (4), pp. 627-636, 2009.

133. Rublee, E., Rabaud, V., Konolige, K., Bradski, G. ORB: An efficient alternative to SIFT or SURF // ICCV, pp. 2564-2571, 2011.

134. Sadaka, N., Karam, L. Super-resolution using a Wavelet-based Adaptive Wiener Filter // ICIP, pp. 3309-3312, 2010.

135. Sarvaiya, J., Patnaik, S., Bombaywala, S. Image Registration by Template Matching Using Normalized Cross-Correlation // Advances in Computing, Control, & Telecommunication Technologies, pp. 819-822, 2009.

136. Satoh, Y., Kaneko, S., Igarashi, S. Robust object detection and segmentation by peripheral increment sign correlation image // Systems and Computers in Japan 35(9), pp. 70-80, 2004.

137. Scharstein, D., Szeliski, R. Middlebury Stereo Datasets. [Электронный ресурс] - Электрон. дан. - Режим доступа: http://vision.middlebury.edu/stereo/data7 - Загл. с экрана.

138. Schoenemann, Т., Cremers, D. High resolution motion layer decomposition using dual-space graph cuts // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1-7, 2008.

139. Schuldt, C., Laptev, I., Caputo, B. Recognition of human actions. Action Database. [Электронный ресурс] - Электрон, дан. - Режим доступа: http://www.nada.kth.se/cvap/actions/ - Загл. с экрана.

140. Sen, D., Pal, S. Improving Feature Space based Image Segmentation via Density Modification / /Information Sciences, vol. 191, pp. 169-191, 2012.

141. Shi, A., Tang, M., Huang, F., Xu, L., Fan, T. Remotely sensed images registration based on wavelet transform using affine invariant moment // Second International Symposium on Intelligent Information Technology Application, pp. 384-389, 2008.

142. Smith, В. M., Zhang, L., Jin, H., Agarwala, A. Light field video stabilization // In Twelfth International Conference on Computer Vision, Kyoto, Japan, 2009.

143. Smith, D., Сох, С. V. ATSR Solar Channel On-Orbit Radiometric Calibration // IEEE Transactions on UK Geoscience and Remote Sensing, Volume 51(3), pp. 1370-1382, 2013.

144. Song, В., Jeong, S., Choi, Y. High-resolution image scaler using hierarchical motion estimation and overlapped block motion compensation // IEEE Transactions on Consumer Electronics, Volume 56(3), pp. 1579-1585, 2010.

145. Srinivasan, S., Chellappa, R., Veeraraghavan, A., Aggarwal, G. Electronic image stabilization and mosaicking algorithms // In Bovik, A. (ed.), Handbook of Image and Video Processing, Academic Press, 2005.

146. Srinivasarao, B.K.N., Chakrabarti, I. A parallel architectural implementation of the fast three step search algorithm for block motion estimation // 5th International Multi-Conference on Systems, Signals and Devices, pp. 1-6, 2008.

147. Stereo-video content. Mobile 3DTV content delivery optimization over DVB-H system. [Электронный ресурс] - Электрон, дан. - Режим доступа: http://sp.cs.tut.fi/mobile3dtv/stereo-video/ - Загл. с экрана.

148. Szeliski, R. Image alignment and stitching: A tutorial // Foundations and Trends in Computer Graphics and Computer Vision, 2(1), pp. 1-104, 2006.

149. Teodosio, L., Bender, W. Salient Stills // ACM Transactions on Multimedia Computing, Communications, and Applications, Vol 1, Issue 1, pp. 16-36, 2005.

150. Thayananthan, A., Iwasaki, M., Cipolla, R. Principled fusion of highlevel model and low-level cues for motion segmentation // In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2008.

151. Torresani, L., Hertzmann, A., Bregler, C. Non-rigid structure-from-motion: Estimating shape and motion with hierarchical priors // IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(5), pp. 878-892, 2008.

152. Video Test Media of Xiph.Org Foundation. [Электронный ресурс] -Электрон, дан. - Режим доступа: http://media.xiph.org/video/derf/ - Загл. с экрана.

153. Wang, С., Croitoru, A., Stefanidis, A., Agouris, P. Image-to-X Registration using Linear Features // FUZZ-IEEE, pp. 1-7, 2007.

154. Wang, S., Fu, J., Lu, Y., Li S., Gao, W. Content-aware layered compound video compression // ISCAS, pp: 145-148, 2012.

155. Wang, X., Huang, X., Tao, Z. Relaxation Matching for Chinese Character Recognition Using Adjacency List // International Conference on Management and Service Science, pp. 1-4, 2009.

156. Wang, Y., Farneback, G., Westin., C. Multi-affine registration using local polynomial expansion // Journal of Zhejiang University - Science С 11(7), pp. 495-503, 2010.

157. Wong, A., Clausi, D. AISIR: Automated inter-sensor/inter-band satellite image registration using robust complex wavelet feature representations // Pattern Recognition Letters 31(10), pp. 1160-1167, 2010.

158. Wu, X., Guo, B, Wang, J. Octa-Log-Polar Fourier Transform for Image Registration // Proceedings of the Fifth International Conference on Information Assurance and Security, pp. 601-604, 2009.

159. Yahui, Y., Tao, N., Bin, C., Lieijin, G. Edge Detection Based on Wavelet Analysis with Gaussian Filter // Congress on Image and Signal Processing, pp. 724-728, 2008.

160. Yang, L., Shanshan, L., Huiyan, Z. Edge-directed interpolation based on Canny detector // International Conference on Mechatronics and Automation (ICMA), pp. 698-702, 2011.

161. Yokoyama, Т., Iwasaki, Т., Watanabe, T. Motion vector based moving object detection and tracking in the MPEG compressed domain // Seventh

International Workshop on content based Multimedia Indexing, Vol.5, pp. 201206, 2009.

162. Yu, G., Morel, M. A fully affine invariant image comparison method // Acoustics, Speech and Signal Processing, pp. 1597-1600, 2009.

163. Yuan, J., Bae, E., Tai X. A study on continuous max-flow and min-cut approaches // Computer Vision and Pattern Recognition, pp. 2217-2224, 2010.

164. Yufeng, H., Huan-Qing, F., Peng, Z., Tong T., Chuanfu, L. Automatic Landmark Detection and Norid Registration of Intra-Subject Lung CT Images // 1st International Conference on Information Science and Engineering (ICISE), pp. 3605-3608, 2009.

165. Zhang, H., Shu, H., Coatrieux, G., Zhu, J., Wu, Q., Zhang, Y., Zhu H, Luo, L. Affine Legendre Moment Invariants for Image Watermarking Robust to Geometric Distortions // IEEE Transactions on Image Processing 2011, 20(8), pp. 2189-2199, 2011.

166. Zhang, J., Chen, Q., Sun, Q., Sun, H., Xia, D. A highly repeatable feature detector: improved Harris-Laplace // Multimedia Tools Appl. 52(1), pp. 175-186, 2011.

167. Zhang, Q„ Xu, P., Li, W., Wu, Z., Zhou, M. Efficient Edge Matching using Improved Hierarchical Chamfer Matching // In ISCAS, pp. 1645-1648, 2009.

168. Zhang, Y., Guo, Y., Gu, Y. Robust Feature Matching and Selection Methods for Multisensor Image Registration // IEEE International Geoscience and Remote Sensing Symposium (3), pp. 255-258, 2009.

169. Zhang, Y., Wang, W., Zheng, L. Image interpolation using multiresolutional critical point filters with unconstrained boundary extension // 3rd International Congress on Image and Signal Processing (CISP), pp. 1190-1194, 2010.

170. Zhou, Y., Sun, Y., Feng. Z., Sun, S. New rate-distortion modeling and efficient rate control for H.264/AVC video coding // Signal Process. Image Commun 24(5), pp. 345-356, 2009.

171. Zisserman, A., Hartley, R. Multiple View Geometry in Computer Vision // Second Edition, Cambridge University Press., 2004.

172. Zoo of Moscow. Stereo-video content. [Электронный ресурс] -Электрон, дан. - Режим доступа: http://stereo-ru.livejournal.com/225148.html -Загл. с экрана.

ПРИЛОЖЕНИЕ 1 - Описание файловых структур разработанных плагинов для фреймсервера «Avisynth»

Плагин интерполяции кадров. Файловая структура плагина интерполяции MyPlugin.dll приведена в табл. 1.

Таблица 1

Файловая структура плагина интерполяции MyPlugin.dll

Наименование Назначение

Block.cpp Основной модуль интерполяции кадров

Avisynth. h Заголовочный файл для взаимодействия с функциями «Ау1$уп1Ь»

MyPlugin.dll Скомпилированная библиотека, готовая для вызова в скриптах «Ау15уп1Ь»

Модуль Block.cpp является основой плагина интерполяции. Функции данного модуля представлены ниже.

extern "С" _declspec(dllexport) const char* _stdcall

AvisynthPluginInit2(IScriptEnvironment* env) - функция регистрирует фильтр в «Avisynth». Вызывается автоматически, когда плагин загружается. Показывает, какие параметры он содержит. Параметр env - имеет тип class, определен в Avisynth.h. Указатель для установки фильтра в «Avisynth». Это позволяет в дальнейшем вызывать функции в скрипте.

. AVSValue_cdecl Create_SquareClass2( AVS Value args, void* userdata,

IScriptEnvironment* env) - функция, вызываемая «Avisynth» при запуске через скрипт. Возвращает класс SquareClass2, который является основой модуля. AVS Value может принимать различные типы. С помощью параметра args передаются параметры для скрипта. С помощью параметра user data передаются информационные данные для пользователя. Параметр env -указатель для установки фильтра в «Avisynth».

class SquareClass2 : public GenericVideoFilter { int Nintframe;

int s block; int ShiftCellOne; int shift;

public:

SquareClass2(PClip child,int _N intframe,int sblock, int ShiftCellOne,int _shift,int _shiftUV); ~SquareClass2();

PVideoFrame_stdcall GetFrame(int n, IScriptEnvironment* env); }

Класс SquareClass2 описывает интерполяцию кадров. Основывается на классе GenericVideoFilter, который определен в Avisynth.h.

Переменные класса:

- int N intframe - число необходимых интерполированных кадров;

- int s block - размер блока, по которому происходит оценка движения и интерполяция;

- int ShiftCellOne - интерполяция будет проходить от блока до следующего со смещением на один пиксель; на полблока; на ширину блока;

- int shift - число, определяющее, насколько от текущего блока нужно сместиться, чтобы получить соседние блоки.

SquareClass2(PClip child,int _N_intframe,int _s_block,bool ShiftCellOne,int shift,int shiftUV) - конструктор класса.

PVideoFrame_stdcall SquareClass2::GetFrame(int n, IScriptEnvironment*

env) - функция, принимающая каждый кадр видеопоследовательности. Именно в этой функции и идет обработка кадров и вызывается функция интерполяции кадров. Параметр п - кадр, который необходимо вернуть, env -указатель для установки фильтра в «Avisynth». Функция возвращает указатель на структуру класса, в которой содержится кадр.

double Like(const BYTE *pFramelY, const BYTE *pFrame2Y, int pitchY, int width, int height) - функция сравнения двух кадров на подобие. pFramel Y - значение яркости первого пикселя первого кадра, pFrame2Y - значение яркости первого пикселя второго кадра, pitchY - специальный шаг для

перемещения по компоненте Y, width - ширина кадра, height - высота кадра. Функция попиксельно сравнивает по компоненте яркости два кадра. Если два кадра одинаковы, то функция возвращает нулевое значение, и в этом случае интерполяция не происходит, а между этими двумя кадрами вставляются исходные кадры. Если два кадра разные, то функция возвращает ненулевое значение, и интерполяция происходит.

void MoveBlocks_ShiftOneCell(const BYTE *pFramelY, const BYTE *pFramelU,const BYTE *pFramelV, const BYTE *pFrame2Y,const BYTE *pFrame2U, const BYTE *pFrame2V, BYTE *pOut_frameY,BYTE *pOut frameU,BYTE *pOut_frameV,int pitchY, int pitchU, int pitchV, int width, int height, double t, int sblock, int shift, int ShiftCellOne) - функция интерполяции кадров. Данная функция принимает два соседних кадра видеопоследовательности. Выделяется шесть блоков памяти, где хранятся значения компонент Y,U,V для первого и для второго кадра, const BYTE *pFramelY, const BYTE *pFramelU,const BYTE *pFramelV, const BYTE *pFrame2Y,const BYTE *pFrame2U, const BYTE *pFrame2V - это указатели на первые байты шести блоков памяти первого и второго кадров.

Также выделяется три блока памяти для хранения значений выходного интерполированного кадра. BYTE *pOut_frameY,BYTE *pOut_frameU,BYTE *pOut frameV - это указатели на первые байты трех блоков памяти выходного интерполированного кадра. Для перехода между строками используются смещением указателя на величину шага int pitchY, int pitchU, int pitchV, для компонент Y, U, V, которые автоматически определяются «Avisynth» для каждого кадра с размерами int width, int height.

За интерполяцию отвечает параметр double t, который задает линейное смещение пикселей на каждом интерполированном кадре. Размер блока, по которому происходит оценка движения и интерполяция определяется параметром int s block. Количество пикселей, определяющее, насколько от текущего блока нужно сместиться, чтобы получить соседние блоки, задается

параметром int shift для компоненты Y (для компонент U, V) определяется автоматически.

Параметр bool ShiftCellOne принимает значения:

1 - интерполяция будет проходить от блока до следующего со смещением на один пиксель;

2 - интерполяция будет проходить от блока до следующего со смещением на полблока;

3 - интерполяция будет проходить от блока до следующего со смещением на ширину блока.

Функция производит сравнение блоков, производит оценку движения, находит вектора движения, и строит интерполированные кадры.

Плагин совмещения видеопоследовательностей. Файловая структура плагина совмещения видеопоследовательностей MyCompare.dll приведена в табл. 2.

Таблица 2

Файловая структура плагина совмещения видеопоследовательностей __MyCompare.dll_

Наименование Назначение

MyCompare.cpp Основной модуль совмещения видеопоследовательностей

Avisynth. h Заголовочный файл для взаимодействия с функциями «Ау1зуп111»

MyCompare.dll Скомпилированная библиотека, готовая для вызова в скриптах «Ау18уЩ11»

Модуль MyCompare.cpp является основой плагина совмещения видеопоследовательностей. Функции данного модуля представлены ниже.

extern "С" _declspec(dllexport) const char* _stdcall

AvisynthPluginInit2 (I ScriptEnvironment * env);

AVSValue_cdecl Create_SquareClass2(AVS Value args, void* user data,

IScriptEnvironment* env) - это системные функции Avisynth, используются в

любом плагине, более подробно о них рассказано в описании функций плагина MyCompare.dll.

class CompareClass : public GenericVideoFilter {

PClip child2;

Videolnfo vi2; public:

CompareClass(PClip childl, PClip _child2);

~CompareClass();

PVideoFrame_stdcall GetFrame(int n, IScriptEnvironment* env);}

Класс CompareClass описывает совмещение видеопоследовательностей. Основывается на классе Generic VideoFilter, который определен в Avisynth.h. Рассмотрим подробно переменные класса:

- PClip childl - первая видеопоследовательность;

- PClip child2 - вторая видеопоследовательность;

- CompareClass(PClip childl, PClip _child2) - конструктор класса.

int MaxMas(double mas[],int k) - функция нахождения максимального элемента массива, double mas[] - массив, int k - размер массива. Функция возвращает номер максимального элемента массива

double ComputePSNR(PVideoFrame fl, PVideoFrame f2,Videolnfo vi) -функция совмещения видеопоследовательностей. На вход подаются две видеопоследовательности PVideoFrame fl, PVideoFrame f2, которые сравниваются между собой по метрике PSNR. Функция возвращает значение схожести двух видеопоследовательностей по метрике PSNR.

PVideoFrame_stdcall SquareClass2::GetFrame(int n, IScriptEnvironment*

env) - в этой функции и идет обработка кадров и вызывается функция совмещения видеопоследовательностей. Берется кадр левой интерполированной видеопоследовательности, х интерполированных кадров, и сравниваются с текущим кадром правой видеопоследовательности с помощью функции double ComputePSNR(PVideoFrame fl, PVideoFrame f2,Videolnfo vi). В результате функция выводит наиболее похожие кадры в

новую откорректированную видеопоследовательность, количество кадров в которой равно количеству кадров правой видеопоследовательности.

Функция производит сравнение блоков, производит оценку движения, находит векторы движения, и строит интерполированные кадры.

Для работы с плагинами необходимо установить «AviSynth 2.5». Для подключения плагинов необходимо создать скрипт - текстовый файл, переименовать расширение на .avs, вызывать в скрипте нужный плагин.

Скрипт для интерполяции кадров

Скрипт для интерполяции кадров выглядит следующим образом: loadplugin("E :\\ Magister\MyPluginVDebug\MyPlugin. dll") s=ConvertToYV12(Avisource("E:\!Magister\popovich_demo.avi")) SquareClass2(s,8,2,3,l)

loadplugin("E:\!Magister\MyPlugin\Debug\MyPlugin.dll") - необходимо указать путь, где находится плагин интерполяции;

ConvertToYV12() - функция Avisynth, которая преобразует любую видеопоследовательность в цветовое пространство YV12;

Avisource("E:\!Magister\popovich_demo.avi") - функция, которая загружает указанную видеопоследовательность в формате .avi в Avisynth для дальнейшей обработки.

SquareClass2(s,8,2,3,l) - функция интерполяции кадров. Синтаксис и параметры функции интерполяции кадров SquareClass2 (clip, int Nintframe, int s block, bool ShiftCellOn, int shift) clip - выбранная видепоследовательность. Ширина и высота видео должны быть кратны размеру выбранного блока.

N intframe - число необходимых интерполированных кадров; s block - размер блока, по которому происходит оценка движения и интерполяция. Размеры блока должны быть кратны 2П (2, 4, 8, 16...)

ShiftCellOne = 1 интерполяция будет проходить от блока до следующего со смещением на один пиксель,

ShiftCellOne = 2 - интерполяция будет проходить от блока до следующего со смещением на полблока,

ShiftCellOne = 3 - интерполяция будет проходить от блока до следующего со смещением на ширину блока;

shift - количество пикселей, определяющее, насколько от текущего блока нужно сместиться, чтобы получить соседние блоки по компоненте. Данный параметр может принимать значения 1, 2, 4, 8, 16, 32....

Данный скрипт необходимо открыть в любом видеоредакторе, например, «VirtualDub 1.9.7». Скрипт находит вектора движения на каждом кадре видеопоследовательности. Сохранив файл, получится интерполированная видеопоследовательность, частота кадров которой возрастет в Nintframe раз. Переход между кадрами станет более плавным за счет интерполяции.

Скрипт для совмещения видеопоследовательностей

Скрипт для совмещения видеопоследовательностей выглядит следующим образом:

loadplugin( "Е: \! Magister\MyCompare\Debug\My Compare. dll") l=ConvertTo Y V12 (Avisource( "E: \! Magister\ left_60f_3 Ofps. avi")) l_int=ConvertToYV12(Avisource("E:\!Magister\left_60f_30фs_x8_.avi")) CompareClass(r, l int)

loadplugin ("E: \! Magister\MyCompare\Debug\My Compare. dll") необходимо указать путь, где находится плагин совмещения видеопоследовательностей;

ConvertToYV12() - функция Avisynth, которая преобразует любую видеопоследовательность в цветовое пространство YV12;

Avisource("E:\!Magister\ left_60f_30fps.avi") - функция, которая загружает указанную правую видеопоследовательность в формате .avi в Avisynth для дальнейшей обработки;

Avisource("E:\!Magister\left_60f_30fpsx8.avi") - функция, которая загружает указанную левую интерполированную видеопоследовательность в формате .avi в Avisynth для дальнейшей обработки;

CompareClass(r, l_int) - функция совмещения

видеопоследовательностей.

Синтаксис и параметры функции интерполяции кадров

CompareClass (clipl, clip2)

clipl - правая видеопоследовательность со стандартной частотой кадров;

clip2 - левая интерполированная видеопоследовательность с увеличенной частотой кадров

Данный скрипт также необходимо открыть в «VirtualDub 1.9.7». Сохранив файл, получится левая откорректированная видеопоследовательность, частота кадров будет равна частоте правой видеопоследовательности. После этого левую откорректированную видеопоследовательность можно совмещать с правой

видеопоследовательностью любым известным способом для получения стереовидеопосле довател ьности.