Разработка и исследование методов обработки и распознавания объектов на последовательности изображений тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Михайлов, Иван Александрович

• Михайлов, Иван Александрович
• кандидат физико-математических наук
• 2011

Оглавление диссертации кандидат физико-математических наук Михайлов, Иван Александрович

1 Введение

1.1 Обработка изображений в целом.

1.2 Распознавание символьных изображений.

1.2.1 Современное состояние проблемы распознавания образов

1.2.2 Постановка задачи и её практическая значимость.

1.3 Восстановление изображений, искажённых перспективным преобразованием

1.3.1 Реставрация изображений

1.3.2 Постановка задачи и её практическая значимость.

1.4 Разбиение железнодорожного состава на отдельные вагоны.

1.4.1 Обнаружение движущихся объектов и отслеживание траектории их движения.

1.4.2 Постановка задачи и её практическая значимость.

2 Распознавание символьных изображений

2.1 Краткий обзор методов.

2.2 Постановка задачи и общий подход к её решению.

2.3 Метод, основанный на модификации метрики Хаусдорфа.

2.3.1 Определение Ит—расстояния

2.3.2 Свойства кт—расстояния.

2.3.3 Описание алгоритма сравнения.

2.3.4 Оценка трудоёмкости алгоритма сравнения изображений с использованием кт—расстояния.

2.4 Метод срезов.

2.4.1 Определение бесконечного вектора и расстояния на множестве бесконечных векторов.

2.4.2 Определение линейного образа и расстояния на множестве линейных образов

2.4.3 Свойства приведённых расстояний.

2.4.4 Описание алгоритма сравнения.

2.4.5 Оценка трудоёмкости алгоритма сравнения.

2.5 Метод радиальных окрестностей.

2.5.1 Определения.

2.5.2 Используемые расстояния

2.5.3 Свойства приведённых расстояний

2.5.4 Описание алгоритма сравнения.

2.5.5 Оценка трудоёмкости алгоритма сравнения.

2.6 Описание проведённых экспериментов и результатов работы алгоритмов

2.6.1 Эксперимент №1.

2.6.2 Эксперимент №2.

2.6.3 Эксперимент №3.

2.6.4 Результаты работы алгоритмов.

3 Восстановление изображений

3.1 Краткий обзор методов.

3.2 Обозначения, определения и постановка задачи.

3.2.1 Определение перспективного преобразования.

3.2.2 Постановка задачи.

3.2.3 Обозначения и определения

3.2.4 Формальная постановка задачи.

3.2.5 Дополнительные ограничения для условия и решения задачи

3.3 Решение задачи

3.3.1 Необходимые и достаточные свойства Т^

3.3.2 Вычисление Ть.

3.4 Применение найденного решения.

3.4.1 Алгоритм восстановления растровых изображений в оттенках серого.

3.4.2 Примеры изображений.

4 Разбиение ж/д состава на отдельные вагоны

4.1 Краткий обзор методов решения подобных задач.

4.2 Входные и выходные данные.

4.3 Характеристики фильмов.

4.4 Обозначения и определения

4.4.1 Общие обозначения и определения.

4.4.2 Пометки, серии, основной поток, основное течение.

4.4.3 ¿»-пометки, краевой поток, краевое течение

4.5 Структура алгоритма разбиения состава.

4.6 Используемые переменные.

4.7 Вспомогательные процедуры.

4.7.1 Повышение контрастности изображений.

4.7.2 Общая процедура подготовки кадров.

4.8 Выделение активной области кадра.

4.8.1 Накопление суммарной разницы.

4.8.2 Определение границ активной области.

4.9 Обработка кадров на начальном этапе движения.

4.9.1 Основная процедура обработки кадров на этапе начального движения

4.9.2 Обнаружение края вагона.

4.9.3 Отслеживание траектории края вагона.

4.9.4 Оценка скорости с учётом перспективного искажения кадров

4.9.5 Непосредственная оценка скорости.

4.10 Этап основного движения.

4.10.1 Процедура обработки кадров на этапе основного движения

4.10.2 Оценка текущей скорости ж/д состава.

4.10.3 Оценка скорости во время выхода ж/д состава из области видимости

4.10.4 Обнаружение просветов в кадре.

4.10.5 Регистрация новой пометки

4.11 Обработка накопленных данных на заключительном этапе

4.11.1 Основная процедура заключительного этапа.

4.11.2 Определение условного веса течения.

4.11.3 Определение веса серии.

4.11.4 Определение координаты разделяющей вертикали.

4.12 Описание проведённых экспериментов и результатов работы алгоритма

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов обработки и распознавания объектов на последовательности изображений»

1.1 Обработка изображений в целом

С незапамятных времён человек стремился облегчить свой труд, изобретая и применяя в работе вспомогательные орудия. С течением времени орудия становились всё более совершенными, позволяя эффективно решать те задачи, с которыми ранее люди справиться не могли.

Сегодня, в эпоху всеобщей автоматизации, основным объектом деятельности человека становится информация, а инструментом — компьютер. Значительная часть информации, с которой приходится иметь дело современному человеку, имеет графическое представление. Действительно, изображение является объектом исследования или его результатом в таких областях человеческой деятельности, как космонавтика, астрономия, биология, медицина, физика, геология, криминалистика, дефектоскопия и других. Изображения получают не только в диапазоне частот электромагнитного излучения, отвечающего видимому свету, но и в диапазоне частот акустическом, инфракрасном, ультразвуковом, ультрафиолетовом, рентгеновских и гамма-лучей. При этом средства их формирования и регистрации отличаются большим разнообразием.

Велик также и объём графической информации, нуждающейся в обработке. Например, в США ещё в начале 80-х ежегодно получали более 25 миллиардов снимков и несколько сотен миллиардов единиц бумажной продукции, требующих дальнейшего анализа [3, стр. 4]. При обычном эксперименте по изучению элементарных частиц в ядерной физике обрабатывается несколько сотен тысяч фотографий.

Таким образом, большой объём видеоинформации ведёт к необходимости автоматизации процессов её обработки. Как уже было сказано, основным инструментом для решения этой и многих других задач является электронно-вычислительная машина, компьютер. Перечислим теперь некоторые задачи обработки видеоинформации, решаемые с его помощью [3, стр. 5-6].

• Эффективное кодирование (сжатие) изображений — необходимо для уменьшения минимальной пропускной способности канала связи или объёма памяти, требуемой для хранения информации.

• Восстановление искажённых изображений, а также улучшение их визуального качества заключается в его преобразовании, обратном преобразованию, вызвавшему искажение. Соответствующие алгоритмы восстановления позволяют скомпенсировать искажения, обусловленные рефракцией или турбулентностью атмосферы, недостатками оптических приборов, деформацией фотоматериала, помехами и т. д. Улучшение визуального качества изображений облегчает их восприятие и анализ человеком.

• Моделирование систем передачи изображений проводится с целью исследования различных методов с целью сокращения полосы телевизионного сигнала или передачи видеосигнала по каналу с помехами.

• Автоматизация процесса подготовки производства в машиностроении, изготовление карт по аэрокосмическим снимкам, синтез мультипликационных фильмов и т. д. возможны благодаря развитию методов машинной графики.

• Автоматическое чтение текста, дешифрование аэрокосмических снимков, диагностика заболеваний — примеры задач, относящихся к проблеме распознавания образов. Интерес, проявляемый к её разработке в настоящее время, связан с открывающимися возможностями лучшего понимания процессов обработки информации в живых системах, создания более эффективных систем «человек/ машина», а также автоматических систем, позволяющих быстрее, точнее, надёжнее или экономичнее человека решать различные задачи обработки визуальной информации.

Длительное развитие методов и средств обработки изображений привело к образованию новой отрасли науки и техники, имеющей большую перспективу.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Михайлов, Иван Александрович

5 Заключение

1. Разработаны три алгоритма распознавания изображений алфавитно-цифровых символов, для проверки эффективности которых было проведено три эксперимента. Каждый из методов имеет свои преимущества и недостатки. Так, самым быстрым является метод срезов, самым медленным — метод радиальных окрестностей. В то же время эксперимент с реальными изображениями показал, что метод, основанный на модификации метрики Хаусдорфа и метод радиальных окрестностей в отличие от метода срезов дают сравнительно неплохие результаты для небольшого набора эталонов, в случае же расширенного набора изображений-эталонов результаты работы всех трёх алгоритмов близки друг к другу. Таким образом, метод срезов удобен в тех случаях, когда допускается неограниченное увеличение набора эталонов с целью повышения степени распознавания. Два других метода подходят тогда, когда требуется обеспечить приемлемое качество распознавания для небольшого (возможно, фиксированного) набора изображений-эталонов. Как уже было сказано, предложенные методы могут найти своё применение в системах распознавания номеров на железнодорожных цистернах и регистрационных номеров автомобилей, системах автоматического чтения текста и других системах распознавания.

2. Разработан алгоритм восстановления изображений, искажённых перспективным преобразованием. Предложенный метод имеет то преимущество, что не использует каких-либо параметров оптической системы, с помощью которой было получено изображение. Заметим, что возможна полная автоматизация восстановления, если сходящиеся прямые — образы горизонтальных прямых — также будут обнаруживаться автоматически. Алгоритм подходит для применения в тех задачах, где требуется устранить перспективное искажение, в частности, он может быть использован на этапе предобработки для последующего распознавания на изображении символьной информации.

3. Разработан метод разбиения ж/д состава на отдельные вагоны. Преимущества данного метода по сравнению с аналогичными состоят в том, что он в одном случае является более автоматизированным, а в другом — не требует наличия вспомогательных технических средств. Предложенный алгоритм может быть использован для создания систем автоматического распознавания номеров железнодорожных цистерн.

Список литературы диссертационного исследования кандидат физико-математических наук Михайлов, Иван Александрович, 2011 год

1. Дуда, Р. Распознавание образов и анализ сцен: Пер. с англ. под ред. В. Л. Сте-фанюка / Р. Дуда, П. Харт. М.: Мир, 1976. - 511 е.: ил.

2. Duda, R. О. Pattern classification / Duda R. О., P. E. Hart, D. G. Stork. 2nd ed.- New York: Wiley Interscience, 1999. 738 p.

3. Анисимов, Б. В. Распознавание и цифровая обработка изображений: Учеб. пособие для студентов вузов / Б. В. Анисимов, В. Д. Курганов, В. К. Злобин. М.: Высш. шк., 1983. - 295 е.: ил.

4. Прэтт, У. Цифровая обработка изображений: Пер. с англ. под ред. Д. С. Лебедева, в 2 кн. Кн. 2 / У. Прэтт. М.: Мир., 1982. - 480 е.: ил.

5. Гонсалес, Р. Цифровая обработка изображений: Пер. с англ. под ред. П. А. Чочиа / Р. Гонсалес, Р. Вудс. М.: Техносфера, 2005. - 1072 с.

6. Файн, В. С. Опознавание изображений (основы непрерывно-групповой теории и её приложения) / В. С. Файн. М.: Наука, 1970. - 299 е.: ил.

7. Юнг, Дж. В. Проективная геометрия / Дж. В. Юнг. Перевод с английского под редакцией проф. В. Ф. Кагана. М.: ИЛ, 1949. - 184 е.: ил.

8. Mann, S. Intelligent Image Processing / S. Mann. New York: Wiley Interscience, 2002. - 359 p.

9. Mori, Shunji. Historical Review of OCR Research and Development / Shunji Mori, Ching Y. Suen, Kazuhiko Yamamoto // Proceedings of the IEEE, Vol. 80, No 7.- July 1992. pp. 1029 - 1058.

10. Chinese character recognition: history, status and prospects / R. Dai, C. Liu, B. Xiao // Frontiers of Computer Science in China. 2007. - Vol. 1, No. 2. - pp. 126-136. -ISSN 1673-7350.

11. Malon, C. Support Vector Machines for Mathematical Symbol Recognition / C. Malon, S. Uchida, M. Suzuki // Structural, Syntactic, and Statistical Pattern Recognition, 2006. Vol. 4109/2006. - pp. 136-144.

12. Offline Chinese handwriting recognition: assessment of current technology / S.N. Srihari, X. Yang, G.R. Ball // Frontiers of Computer Science in China. 2007. -Vol. 1, No. 2. - pp. 137-155. - ISSN 1673-7350.

13. AbdulKader, A. A Two-Tier Arabic Offline Handwriting Recognition Based on Conditional Joining Rules / A. AbdulKader // Arabic and Chinese Handwriting Recognition, 2008. Vol. 4768/2008. - pp. 70-81.

14. Abou-zeid, H.M.R. Computer Recognition of Unconstrained Handwritten Numerals / H.M.R. Abou-zeid, A.S. El-ghazal, A.A. Al-khatib // Circuits and Systems.

15. Proceedings of the 46th IEEE International Midwest Symposium on, 2004. pp. 969-973.

16. Kacalak, W. Selected Problems of Intelligent Handwriting Recognition / W. Kacalak, K.D. Stuart, M. Majewski // Analysis and Design of Intelligent Systems using Soft Computing Techniques, 2007. Vol. 41/2007. - p. 298-305.

17. Song, L. Method for Automatic Image Recognition based on Algorithm Fusion / L. Song, Y. Lin // Proceedings of the Third IEEE International Conference on Natural Computation, 2007. p. 671-675.

18. Ahmed, M.J. License plate recognition system / M.J. Ahmed, M. Sarfraz, A. Zidouri, W.G. Al-Khatib // Proc. IEEE Int. Electronics, Circuits and Systems Conf., 2003.- Vol. 2. p. 898-901.

19. Comelli, P. Optical Recognition of Motor Vehicle License Plates / P. Comelli, P. Ferragina, M.N. Granieri, F. Stabile // IEEE Transactions on Vehicular Technology, 1995. Vol. 44, No. 4. - p. 790-799.

20. Huang, R. License Plate Character Recognition Using Artificial Immune Technique / R. Huang, H. Tawfik, A. Nagar // Computational Science, 2008. Vol. 5101/2008.- p. 823-832.

21. Rapid Door Number Recognition by a Humanoid Mobile Robot / Q. Meng // Journal of Intelligent and Robotic Systems. 2005. - Vol. 43, No. 1. - pp. 33-54. - ISSN 0921-0296.

22. Einsele, F. Recognition of Ultra Low Resolution Word Images Using HMMs / F. Einsele, R. Ingold, J. Hennebert // Computer Recognition Systems 2, 2007. -Vol. 45/2007. pp. 429-436.

23. Assabie, Y. Structural and Syntactic Techniques for Recognition of Ethiopic Characters / Y. Assabie, J. Bigun // Structural, Syntactic, and Statistical Pattern Recognition, 2006. Vol. 4109/2006. - pp. 118-126.

24. Kara, L. В. Sketch Understanding for Engineering Software / L. B. Kara // Ph.D. Thesis Proposal. 2003. - 68 p.

25. Sternby, J. Frame Deformation Energy Matching of On-Line Handwritten Characters / J. Sternby // Progress in Pattern Recognition, Image Analysis and Applications, 2005. Vol. 3773/2005. - pp. 128-137.

26. Computer Recognition of Unconstrained Handwritten Numerals / C. Y. Suen, C. Nadal, R. Legault, T. A. Mai, and L. Lam // Proceedings of the IEEE, Vol. 80, No 7. July 1992. - pp. 1162- 1180.

27. Hu, J. Structural Boundary Feature Extraction for Printed Character Recognition / J. Hu, D. Yu, and H. Yan // Joint IAPR International Workshops SSPR'98 and SPR'98 Sydney, Australia, Proceedings. 1998. - pp. 500 - 507.

28. Хмелев, P. В. Совместное использование структурного анализа и метрики Ха-усдорфа при сравнении объекта и эталона / Р. В. Хмелев // Компьютерная оптика. В. 27. 2005. - сс. 174 - 176.

29. Dual Classifier System for Handprinted Alphanumeric Character Recognition / Y.-C. Chim, A.A. Kassim, Y. Ibrahim // Pattern Analysis & Applications. 1998. - Vol. 1, No. 3. -pp. 155-162. - ISSN 1433-7541.

30. Pal, U. Handwritten Character Recognition of Popular South Indian Scripts / U. Pal, N. Sharma, T. Wakabayashi, F. Kimura // Arabic and Chinese Handwriting Recognition, 2008. Vol. 4768/2008. - pp. 251-264.

31. Yu, K. Skeleton-Based Recognition of Chinese Calligraphic Character Image / K. Yu, J. Wu, Y. Zhuang // Advances in Multimedia Information Processing, 2008. Vol. 5353/2008. - pp. 228-237.

32. Wachenfeld, S. A Multiple Classifier Approach for the Recognition of Screen-Rendered Text / S. Wachenfeld, S. Fleischer, X. Jiang // Computer Analysis of Images and Patterns, 2007. Vol. 4673/2007. - pp. 921-928.

33. Glucksman, H. Classification of mixed-font alphabetics by characteristic loci / H. Glucksman // Digest of 1st Annual IEEE Comp. Conf., 1967. pp. 138-141.

34. Ottlik, A. Initialization of Model-Based Vehicle Tracking in Video Sequences of InnerCity Intersections / A. Ottlik, H.-H. Nagel. // International Journal of Computer Vision, No 80. 2008. - pp. 211- 225.

35. Haag, Michael. Combination of Edge Elementand Optical Flow Estimates for 3D-Model-Based Vehicle Tracking in Traffic Image Sequences / M. Haag, H.-H. Nagel // International Journal of Computer Vision, No 35(3). 1999. - pp. 295- 319.

36. Jung, Y.-K. A Feature-Based Vehicle Tracking System in Congested Traffic Video Sequences / Y.-K. Jung and Y.-S. Ho // Lecture Notes in Computer Science, Vol. 2195, Advances in Multimedia Information Processing — PCM 2001. 2001. - pp. 190- 197.

37. Song, X. Robust Vehicle Blob Tracking with Split / Merge Handling / X. Song and R. Nevatia // Lecture Notes in Computer Science, Vol. 4122, Multimodal Technologies for Perception of Humans. 2007. - pp. 216- 222.

38. Choi, J.-Y. Improved Tracking of Multiple Vehicles Using Invariant Feature-Based Matching / J.-Y. Choi, J.-W. Choi and Y.-K. Yang // Lecture Notes in Computer Science, Vol. 4815, Pattern Recognition and Machine Intelligence. 2007. - pp. 649656.

39. Rodriguez, T. An adaptive, real-time, traffic monitoring system / T. Rodriguez, N. Garcia // Machine Vision and Applications, No 21. 2010. - pp. 555- 576.

40. Landabaso, J.-L. Robust Tracking and Object Classification Towards Automated Video Surveillance / J.-L. Landabaso, L.-Q. Xu, and M. Pardas // Lecture Notes in Computer Science, Vol. 3212, ICIAR. 2004. - pp. 463- 470.

41. Huang, J. Automatic Detection of Object of Interest and Tracking in Active Video / J. Huang, Z.-N. Li // Journal of Signal Processing Systems (2011), No 65. 2011.- pp. 49- 62.

42. Czyzewski, A. Moving Object Detection and Tracking for the Purpose of Multimodal Surveillance System in Urban Areas / A. Czyzewski and P. Dalka // New Direct, in Intel. Interac. Multimedia, SCI 142. 2008. - pp. 75- 84.

43. Poon, H. S. Robust Detection and Tracking of Multiple Moving Objects with 3D Features by an Uncalibrated Monocular Camera / H. S. Poon, F. Mai, Y. S. Hung, and G. Chesi // MIRAGE 2009, LNCS 5496. 2009. - pp. 140- 149.

44. Guo, W. Visual Attention Based Motion Object Detection and Trajectory Tracking / W. Guo, C. Xu, S. Ma, and M. Xu // PCM 2010, Part II, LNCS 6298. 2010.- pp. 462- 470.

45. Lowe, D. Distinctive image features from scale-invariant keypoints / D. Lowe // International Journal of Computer Vision, No. 60 (2). 2004. - pp. 91-110.

46. Fischler, M.A. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Communications of the ACM, No. 24 (6). 1981. - pp. 381-395.

47. Gopalakrishnan, V. Sustained Observability for Salient Motion Detection / V. Gopalakrishnan, Y. Hu, and D. Rajan // ACCV 2010, Part III, LNCS 6494. 2011.- pp. 732-743.

48. Verbeke, N. A PCA-Based Technique to Detect Moving Objects / N. Verbeke and N. Vincent // SCIA 2007, LNCS 4522. 2007. - pp. 641-650.

49. Latecki, L. J. Activity and Motion Detection Based on Measuring Texture Change / L. J. Latecki, R. Miezianko, and D. Pokrajac // MLDM 2005, LNAI 3587. 2005.- pp. 476-486.

50. Hossain, M. J. An Edge-Based Moving Object Detection for Video Surveillance / M. J. Hossain and O. Chae // PReMI 2005, LNCS 3776. 2005. - pp. 485-490.

51. Михайлов, И. А. Об одном методе распознавания изображений / И. А. Михайлов // Моделирование и анализ информационных систем. Т. 14, № 4. / Под ред. В. А. Соколова. Ярославль: Изд-во Яросл. гос. ун-та им. П. Г. Демидова, 2007. - сс. 7 - 12.

52. Михайлов, И. А. Некоторые методы распознавания изображений / И. А. Михайлов // Моделирование и анализ информационных систем. Т. 15, № 4. / Под ред. В. А. Соколова. Ярославль: Изд-во Яросл. гос. ун-та им. П. Г. Демидова, 2008. - сс. 56 - 64.

53. Михайлов, И. А. Распознавание изображений с помощью метода радиальных окрестностей / И. А. Михайлов // Компьютерная оптика. Т. 34, № 3, 2010. -сс. 399 407.