Комплексирование изображений разных диапазонов спектра в многоканальных системах наблюдения тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Михеев, Сергей Михайлович

• Михеев, Сергей Михайлович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Михеев, Сергей Михайлович

ВВЕДЕНИЕ.

1 АНАЛИТИЧЕСКИЙ ОБЗОР И СИСТЕМАТИЗАЦИЯ МЕТОДОВ КОМПЛЕКСИРОВАНИЯ ИЗОБРАЖЕНИЙ.

1.1 Анализ режима комплексирования в многоканальной системе наблюдения.

1.2 Повышение разрешения изображения.

1.3 Задача привязки изображений.

1.3.1 Методика привязки изображений.

1.3.2 Селекция характерных точек.

1.3.3 Блочные методы.

1.3.4 Модель трансформации.

1.4 Методы синтеза разноспектральных изображений.

1.4.1 Многомасштабное преобразование.

1.4.2 Вейвлет-синтез.

1.4.3 Синтез с приоритетом ТВ изображения.

1.5 Выводы и постановка задачи диссертационной работы.

2 ПРИВЯЗКА ИЗОБРАЖЕНИЙ РАЗНЫХ ДИАПАЗОНОВ СПЕКТРА.

2.1 Особенности привязки ТВ и ТПВ изображений.

2.2 Критерий согласования блоков.

2.2.1 Критерий максимума взаимной информации.

2.2.2 Предобработка.

2.2.3 Сокращение времени вычисления.

2.2.4 Стратегия поиска.

2.3 Сравнительный анализ критериев согласования.

2.4 Результаты и выводы.

3 СИНТЕЗ ИЗОБРАЖЕНИЙ РАЗНЫХ ДИАПАЗОНОВ СПЕКТРА.

3.1 Описание метода локального синтеза.

3.2 Обнаружение объектов интереса по яркости.

3.3 Обнаружение объектов по признаку движения.

3.3.1 Алгоритм определения оптического потока.

3.3.2 Выделение движущихся объектов.

3.4 Синтез изображений и маркировка объектов интереса.

3.5 Оценка качества синтеза.

3.6 Результаты и выводы.

4 ОЦЕНКА РЕЗУЛЬТАТОВ КОМПЛЕКСИРОВАНИЯ И ПРАК ТИЧЕСКАЯ РЕАЛИЗАЦИЯ РАЗРАБОТАНОГО АЛГОРИТМА.

4.1 Общая схема алгоритма комплексирования.

4.2 Комплексирование ТВ и ТПВ изображений.

4.3 Конструкция многоканальной системы наблюдения.

4.4 Программное обеспечение и аппаратная реализация.

4.5 Результаты и выводы.

Введение диссертации (часть автореферата) на тему «Комплексирование изображений разных диапазонов спектра в многоканальных системах наблюдения»

Актуальность темы. Современные многоканальные оптико-электронные системы наблюдения (МСН) имеют в своем составе датчики различной физической природы. Каждый датчик обладает уникальными свойствами и характеристиками и вносит свой вклад в изображение, которое анализирует человек-оператор комплекса [1] - [3]. МСН позволяют вести круглосуточное и всепогодное наблюдение, обнаружение, сопровождение наземных и воздушных объектов, выполнять охрану периметра, разведку местности, оценку состояния техногенной, экологической' обстановки; мониторинг местности,в условиях чрезвычайных.ситуаций.

Большое распространение получили системы, снабженные тепловизионной (ТПВ) и телевизионной (ТВ) камерой. [2]. Тепловизионный канал предназначен' для получения- на экране монитора изображения- в инфракрасном (ИК) диапазоне спектра* (-3.5- мкм> — ближний, ИК, 8.14 — дальний ИК). Данный канал позволяет обнаруживать и- идентифицировать объекты, обладающие тепловым контрастом. Телевизионный канал обладает цветовым контрастом, и предназначен для получения- изображения* наблюдаемой сцены в видимом диапазоне спектра (0,38-.0,76 мкм).

Полезная информация, необходимая для принятия» решения человеком-оператором, может быть распределена между изображениями разного спектра. В. этом случае оператор вынужден анализировать несколько изображений и сопоставлять их между собой, что приводит к задержкам в принятии решения: Особенно критичны данные задержки в работе оператора комплекса беспилотного' летательного аппарата, оборудованного бортовой МСН. По этой причине целесообразно выводить на дисплей единое комплексированное изображение, синтезированное из исходных ТПВ и ТВ кадров. Такой режим позволяет повысить информативность системы, объединив на одном кадре детали наблюдаемой сцены в инфракрасном и в видимом диапазонах спектра.

В большинстве работ, посвященных данной задаче, не учитывается факт пространственного смещения изображений [1]-[5], обусловленного конструктивными особенностями МСН, либо рассматриваются частные случаи решения, данной проблемы [6],[7]. Тем не менее,'в данных работах задачу комплексирования разбивают на два этапа: привязку, необходимую для пространственного совмещения изображения, и непосредственно синтеза изображений, позволяющий объединить информацию разного спектра.

В настоящее время, не существует единой методики комплексирования изображений в МСН. В существенной степени это, связано с тем, что оценка качества предъявляемых изображений' является субъективной и зависит от психофизиологических особенностей оператора, решаемой задач» и условий наблюдения.

Разработанные на данный момент алгоритмы синтеза имеют одну общую особенность: объединение информации происходит без>учета целевой задачи. В то время как в ряде применений-МСН целевой задачей оператора является поиск, распознавание и слежение за объектами интереса* (человеком и техникой).

Будем считать, что с целью повышения эргономического качества предъявляемых оператору изображений, необходимого для принятия обоснованных решений, повышения точности и быстродействия работы, а также снижения утомляемости оператора [8],[9],[10],[11], предъявляемое комплексированное изображение должно обеспечивать:

1. Отображение основной информации, содержащейся в исходных ТВ и ТПВ изображениях;

2. Максимально точную привязку ТВ и ТПВ изображений;

3. Выделение предполагаемых объектов интереса в соответствие с решаемой целевой задачей.

При этом поиск предполагаемых объектов интереса может быть реализован с использованием анализа наблюдаемой сцены, в частности, алгоритмов статистического распознавания и алгоритмов обнаружения по признакам движения [12], [13].

Решение указанных задач является актуальным, поскольку позволит повысить эффективность работы оператора.

Целью диссертационной работы является повышение качества предъявляемых оператору изображений за счет комплексирования исходных изображений разных диапазонов спектра и выделения (контрастированием и/или маркировкой) предполагаемых объектов интереса.

Достижение поставленной цели связано с выполнением следующих этапов исследования:

1. Анализ» существующих методов привязки с целью выбора наиболее-эффективного критерия сравнения разноспектральных изображений.

2. Разработка методики оценки ошибки привязки разноспектральных изображений.

3. Разработка алгоритмов обнаружения предполагаемых объектов интереса.

4. Разработка метода повышения качества предъявляемых оператору изображений на основе выделения объектов интереса.

Объектом исследования, является многоканальная оптико-электронная система наблюдения

Предметом исследования является процесс комплексирования предъявляемых оператору изображений, полученных в инфракрасном и видимом диапазонах спектра.

Методы исследования. Исследования выполнены с использованием аппарата математического моделирования, математической статистики, компьютерного зрения, теории информации. Моделирование проводилось в среде Matlab, Borland Delphi и с использованием пакета ImageJ. Для реализации алгоритма использовались языки С и С++ в среде программирования Texas Instruments Code Composer Studio для DSP-процессоров серии TMS320C64x.

Научная новизна. В диссертационной работе получены следующие новые научные результаты:

1. Разработан метод привязки ТВ и ТПВ изображений, основанный на критерии максимума взаимной информации. Метод является инвариантным к яркостному различию изображений.

2. Разработана методика оценки качества алгоритмов, привязки ТВ и ТПВ изображений, основанная на вычислении« радиуса корреляции изображений. Методика позволяет получить оценку точности-использованного критерия максимума взаимной информации.

3. Разработан метод локального' синтеза ТВ и ТПВ изображений, основанный на обнаружении и маркировании предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений.

Научные положения, выносимые на защиту:

1. Новый» метод и соответствующий алгоритм привязки изображений разных диапазонов спектра, основанные на критерий максимума взаимной информации и позволяющие оценить параметры трансформации: смещение и коэффициент масштаба;

2. Методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса корреляции изображений и позволяющая получить оценку точности использованного критерия;

3. Рекомендации по использованию алгоритмов обнаружения объектов (на базе метода Отцу, модифицированного алгоритма Отцу, критерия Фишера) на типовых сценах, наблюдаемых на ТПВ изображении;

4. Алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ-изображениях, основанный на методе Лукаса-Канаде;

5. Метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений; и основанный на выделении (контрастированием: и/или маркировкой)? предполагаемых объектов интереса.

Практическая? ценность полученных вг диссертационной работе результатов:

1. Разработанный« метод привязки изображений разных диапазонов* спектра на основе критерия^ максимума: взаимной"; информации обеспечивает более, точную^ оценку, чем распространенные: в задачах привязки: корреляционные методы. В частности;,. средняя ошибка определения.- смещения; в; 10-15 раз; меньше; чем при; использовании; метода- суммы модуля? разности^ а ошибка-, определения изменения масштаба меньше на 20-25%.

2. Разработанный; метод локального синтеза;, основанный на вычислении, адаптивного порога сегментации; TUB изображения: и выделении предполагаемых объектов. интереса, позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза.

3. Комплексирование ТВ и ТПВ изображений многоканальной системы наблюдения-позволит снизить.,информационную загруженность: оператора и? повысить надежность его работы.

Апробация работы. Основные положения и результаты диссертации докладывались на VIII-й Всероссийской научно-технической^ конференции «Проблемы совершенствования' робототехнических и интеллектуальных систем, летательных аппаратов» (МАИ, 2010), 9-й Международной конференции «Авиация и космонавтика - 2010» (МАИ, 2010), научно-технической конференции «Техническое зрение в системах управлениях» (ИКИ РАН, 2011).

Реализация на практике. Разработанное программное обеспечение комплексирования ТВ и ТПВ изображений использовано в процессе проводимых исследований и испытаний в Технологическом Парке Космонавтики «Линкос» в рамках НИР «Интриган», ОКР «Интриган-Д2» и «Тайфун-М-ОЭС», что отражено в акте внедрения кандидатской диссертационной работы.

Публикации. По результатам диссертационной работы опубликовано 4 работы, в том числе 2 научно-технических статьи в изданиях, включенных в перечень ВАК.

Объем и структура работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы (63 наименования). Работа содержит 112 страниц машинописного текста, 53 рисунка, 8 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Михеев, Сергей Михайлович

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы, в рамках специальности 05.13.01 «Системный анализ, управление и обработка информации (Информатика, управление и вычислительная техника)», получены следующие основные научные и практические результаты:

1. Решена актуальная научно-техническая задача комплексирования изображений разных диапазонов спектра в многоканальных системах наблюдения. В качестве модернизируемой системы рассматривался серийный комплекс, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. В рамках решаемой задачи комплексирования исследованы два последовательных этапа: привязка и синтез изображений.

2. Предложен новый метод привязки изображений, полученных в разных диапазонах спектра, основанный^ на критерии максимума взаимной информации и позволяющий оценить параметры трансформации: смещение и коэффициент масштаба.

3. Разработана методика оценки качества алгоритмов привязки ТВ и ТПВ изображений, основанная на вычислении радиуса (интервала) корреляции изображений. Методика позволяет получить оценку точности использованного критерия. В частности показано, что средняя ошибка определения смещения в 10-15 раз меньше, чем при использовании метода суммы модуля разности, а ошибка определения изменения масштаба меньше на 20-25%.

4. Разработан алгоритм обнаружения предполагаемых объектов интереса по признакам движения на ТПВ изображениях, основанный на определении оптического потока методом Лукаса-Канаде;

5. На основе проведенйых исследований, разработаны рекомендации по использованию на типовых сценах, наблюдаемых на ТПВ изображении, алгоритмов обнаружения объектов:

- на базе метода сегментации Отцу;

- предложенного модифицированного алгоритма Отцу с адаптивным порогом; статистического алгоритма на основе критерия максимального правдоподобия Фишера

Кроме того, ряд результатов получен в соответствии со специальностью 05.11.16 «Информационно-измерительные и управляющие системы (авиационная и ракетно-космическая техника)»:

6. Разработан метод локального синтеза, обеспечивающий повышение эргономического качества предъявляемых оператору изображений, основанный на выделении (контрастированием и/или маркировкой) предполагаемых объектов интереса. Метод позволяет повысить качество предъявляемых оператору изображений в 1,5-2 раза.

7. Разработан алгоритм комплексирования ТВ и ТПВ изображений, основанный на привязке изображений с помощью критерия взаимной информации и локальном синтезе. В качестве модернизируемой системы рассматривался серийный комплекс МКОЭС, в состав которого входит тепловизионная (ТПВ) и телевизионная (ТВ) камеры. Алгоритм обеспечивает выход на режим за 0,3 секунды и синтез изображений при неизменном угле зрения с частотой 30 кадров в секунду.

8. Исследования, основанные на обработке изображений, полученных на модифицируемом оптико-электронном комплексе (МОН), подтвердили работоспособность разработанных алгоритмов.

Список литературы диссертационного исследования кандидат технических наук Михеев, Сергей Михайлович, 2011 год

1. Canga E.F. Image fusion. Project report for the degree of Meng, in electrical and electronic engineering.-University of Bath, 2002

2. Иванов E.JI., Смагин M.C. Слияние изображений в многоканальной системе наблюдения местности. Датчики и системы.-2006.-№11. С.6-9

3. Stathaki Т. Image fusion: Algorithm and Appliations. Elsevier, 2008. 519c.

4. Blum R1S. Multi-Sensor Image Fusion and Its Applications. / Blum R.S., Liu Z. // Signal Processing and Communications.- 2006.- C.40-42

5. Аксенов OJO. Совмещение изображений. ЦОС №3, 2005, С.51-55

6. В. А. Войтов В.А., Голицын A.B., Дегтярев Е.В., П. В. Журавлев П.В., Журов Г.Е., Шлишевский В.Б. Способ формирования единого информационного поля. Оптический журнал, том 76, 2009, № 12, стр. 84-87.

7. Смоляров: A.M. Системы отображения информации и инженерная психология. М.: Высшая школа, 1982.-272 с.

8. Алиев Т.М., Вигдоров Д.И., Кривошеев В.П. Системы отображения информации. -М.: Высшая школа, 1988, 223 с.

9. Запорожец A.B., Костюков В.М. Проектирование систем отображения информации. М.: Машиностроение, 1992.-336 с.

10. Ломов Б.Ф. Основы инженерной психологии. М: ВШ, 1977.-335 с.

11. Ким Н.В. Обработка и анализ изображений в системах технического зрения. Учебное пособие. -М.: Изд-во МАИ. 2001. 164 с.

12. Форсайт Д, Понс Ж. Компьютерное зрение. Современный подход. Вильяме, 2004. 928 с.

13. Насонов А.В., Крылов А.С., Ушмаев О.С. Применение метода суперразрешения для биометрических задач- распознавания лиц в видеопотоке'// Системы высокой доступности. 2009. №1. С. 26-34

14. Deepu Raj an, Subhasis Chaudhuri: Generalized Interpolation and1 Its Application in Super-Resolution Imaging, Image and Vision Computing, Volume 19, Issue 13,, Pages 957-969, 2001

15. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. М.: Техносфера, 2005. 1072 с. - ISBN 5-94836-028-8.

16. Bouguet J.Y. Pyramidal. Implementation of the Lucas Kanade Feature Tracker/AIntel Corporation Microprocessor Research Labs, 2000

17. Zitova В., Flusser Jan. Image registration methods: a survey // Image and Vision Computing. 2003. №21. C. 977-1000

18. Medha V. Wyawahare, Dr. Pradeep M. Patil, and Hemant K. Abhyankar. Image Registration Techniques: An overview // Image Processing and Pattern Recognition. Vol. 2, No.3, September 2009

19. Shi J., Tomasi С. Good features to track / 9th IEEE Conference on Computer vision and Pattern recognition. Springer. 1994.

20. Yu J. J.-H., Hung B.N., Liou C.L. Fast algorithm for digital retinal- image alignment //Proc. ШЕЕ Ann. Int. Conf. Engineering Medicine Biology Society, 1989,-.vol. 2, C. 374-375.

21. Studholme C., Hill D.L.G, Hawkes D.J. Multiresolution voxel similarity measures for MR-PET registration // Information Processing in Medical Imaging, Y. Bizais et al., Eds. Amsterdam, The Netherlands: Kluwer, 1995. C. 287-298.

22. Lee D.J, Krile T.F., and Mitra S. Digital registration techniques forsequential fundus images // Proc. IEEE Applications of Digital Imager

23. Processing X, 1987, vol. 829, C. 293-300.

24. Kim S.P., Su W.Y. Subpixel accuracy image registration by spectrum cancellation//Proc. IEEE 1993 Int. Conf. Acoustics, Speech Signal Processing, ICASSP-93, 1993, vol. 5, C. 153-156.

25. Reddy B.S., Chatterji B.N. An FFT-based technique for translation, rotation and scale-invariant image registration // IEEE Trans. Jmage Processing, vol. 5, 1996. C. 1266-1271

26. Коссов П.В., Михеев С.М. Разработка алгоритма электронной стабилизации видеопоследовательности на базе цифрового сигнального процессора // Вестник МАИ, №6, 2006.

27. Василенко Г.И., Тараторин A.M. Восстановление изображений. М.: Радио и связь, 1986. - 304 с.

28. Soifer V.A., Kotlyar V.V., Doskolovich L.L. Iterative methods, for diffractive optical elements computation. London: Taylor & Francis, 1997.

29. Cabanski W., Breiter R., Koch R. et al. Third generation focal plane array IR detection modules at AIM SPIE Proc., vol.4369,' 2001, C.547 - 558.

30. Ravi K. S. Probabilistic Model-based Multisensor Image Fusion. PhD thesis, Oregon Graduate Institute of Science and Technology, Portland, Oregon, 1999

31. Peter J. Burt and Edward H. Adelson, The Laplacian Pyramid as a Compact Image Code, IEEE Transactions On Communications, Vol. Com-31, No. 4, C. 532540.

32. Yaonan Wang, Multisensor Image Fusion: Concept, Method and Applications, Faculty of Electrical and Information Engineering, Hunan University, Changsha, 410082, China

33. Bruno Aiazzil, Luciano Alparone, Stefano Barontil, Ivan Pippil, Fusion of 18 m MOMS-2P and 30 m Landsat TM Multispectral Data by the Generalized Laplacian Pyramid

34. Eli.Shechtman. Sequence Fusion Based'on 3D Pyramids / Project Report, 2000, http://www.wisdom.weizmann.ac.il/~elishe/SF technical report.html

35. Hui Li, B.S. Manjunath, Sanjit K. Mitra H. Li, B. S. Manjunath and S. K. Mitra, Multisensor Image Fusion Using the Wavelet Transform, Proc. firstinternational conference on image processing, ICIP 94, Austin, Texas, Vol. I,1994, C. 51-55.

36. Chipman L., Orr T., Graham L. Wavelets and Image Fusion, Proceedings International Conference on Image Processing, vol. 3, 1995, C. 248-251.

37. Nunez J., Otazu X., Fors O., Prades A. Multiresolution-Based Image Fusion with Additive Wavelet Decomposition, IEEE Transactions on Geoscience and Remote Sensing, vol. 37, no. 3, 1999, C. 1204-1211.

38. Koren I, Laine A., Taylor F. Image Fusion Using Steerable Dyadic Wavelet Transform, Proceedings International Conference on Image Processing, vol. 3,1995, G. 232-235.

39. Mendonca A.M, Campilho A., Nunes J. A new similarity criterion for retinal image registration / Proc. IEEE 1994 Int. Conf. Image Processing ICIP-94, Los Alamitos, CA, 1994, C. 696-700.

40. Cideciyan A.V., S: G. Jacobson; C. M. Kemp, R. W. Knighton, and J. H. Nagel. Registration, of high- resolution images of the retina. / in Proc. SPIE: Medical Imaging VI: Image Processing, vol. 1652, 1992, C. 310-322.

41. Wakahara T. An iterative image registration technique using local affine transformation / Syst. Comput. Japan, vol. 21s, no. 12; 1990,1 C. 78-89.

42. Wells W.M., Viola P. Multimodal volume registration by maximization of mutual information. Med. Image Anal., vol. 1, no. 1, 1996, C. 35-51'.

43. Dowsland К. Simulated annealing /Modern Heuristic Techniques for Combinatorial Problems, C. R. Reeves, Ed. New York: Wiley, 1993, C. 20-69.

44. Ким H.B., Коссов П.В., Михеев C.M. Увеличение информативности телевизионных и тепловизионных изображений /Вестник компьютерных технологий, №10, 2011

45. Otten R. Н. J. М., van Ginneken L. Р: P. P. The Annealing Algorithm / Boston, MA: Kluwer, 1989.

46. Гонсалес P., Вудс P. Цифровая обработка изображений.-Тех.сфера, 2005

47. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ.-М.: Мир, 1976'

48. Визильтер Ю.В., Желтов С.Ю., Бондаренко'А.В., Ососков М.В., Моржин А.В. Обработка и анализ изображений в задачах машинного зрения.-М.: Физматкнига, 2010

49. Otsu N. A threshold selection method from gray-level histograms / IEEE Trans. Systems, Man and cybernetics. 1979. Vol. SMC-9

50. Солдатов C.A., Стрельников K.H., Ватолин Д.С. Быстрое и надежное определение глобального движения' в видеопоследовательностях / 16-я Международная конференция по компьютерной* графике и ее приложениям, ИВМиМГ СО РАН, 2006, С.430-437

51. Denney, Т. S. Optimal brightness functions for optical flow estimation of deformable motion / T. S. Denney, J. L. Prince // IEEE Trans, on Image Processing. 1994.-T.3 ,№2.-С 178-191

52. The Math Works, inc. http://www.softline.ru, http://www.mathworks.com

53. Коссов П.В., Михеев C.M. Применение цифрового сигнального процессора для вычисления параметров коррекции визирной линии бортовой системы наблюдения/ Труды 18-го международного научно-технического семинара. Алушта, 2009

54. Солонина А.И., Улахович Д.А., Яковлев JI.A. «Алгоритмы и процессоры цифровой обработки сигналов», СПб.: БХВ-Петербург, 2001, 445 с.