Разработка моделей и алгоритмов для повышения эффективности автоматизированных технологических процессов формирования панорамных изображений тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат наук Наинг Линн Аунг

• Наинг Линн Аунг
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Наинг Линн Аунг

ВВЕДЕНИЕ

ГЛАВА 1. АНАЛИЗ МЕТОДОВ, АЛГОРИТМОВ И ПРОГРАММНЫХ СРЕДСТВ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ И ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

1.1 Особенности использования беспилотных летательных аппаратов

1.2 Анализ методов сшивания изображений

1.3. Методы и средства детектирования объектов в процессе формирования панорамных изображений

1.4. Анализ современных программных модулей для создания панорамных изображений

1.5. Постановка целей и задач диссертационного исследования

Выводы по главе

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ В ПРОЦЕССЕ ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

2.1. Разработка рекурсивного алгоритма поиска однородных областей

2.2 Разработка нейросетевого метода детектирования объекта при формировании панорамного изображения

2.3 Разработка и программная реализация алгоритма детектирования объекта при формировании панорамного изображения

Выводы по второй главе

ГЛАВА 3 ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ СШИВАНИЯ КАДРОВ ПРИ ФОРМИРОВАНИИ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

3.1 Разработка метода сшивания кадров аэрофотоснимков при формировании панорамных изображений на основе афинных преобразований

3.2 Разработка алгоритма формирования панорамных изображений на основе проективных преобразований

3.3 Разработка алгоритма сшивания изображений на основе модели бинарного дерева

Выводы по третьей главе

ГЛАВА 4. ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ ПО ОЦЕНКЕ ЭФФЕКТИВНОСТИ ПРЕДЛОЖЕННЫХ СРЕДСТВ ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

4.1 Экспериментальные исследования эффективности нейросетевого метода детектирования объектов

4.2 Результаты эксперимента по оценке эффективности метода сшивания кадров аэрофотоснимков при формировании панорманых изображений на основе афинных преобразований

4.3 Экспериментальные результаты и анализ сшивания изображений на основе модели бинарного дерева

Выводы по четвертой главе

ЗАКЛЮЧЕНИЕ

Список литературы

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «Разработка моделей и алгоритмов для повышения эффективности автоматизированных технологических процессов формирования панорамных изображений»

ВВЕДЕНИЕ

Актуальность темы диссертации. Настоящее время характеризуется возрастающей ролью применения средств дистанционного контроля и мониторинга состояния объектов, в том числе и с использованием беспилотных летательных аппаратов (БПЛА), которые осуществляют фото и видеосъемку местности, что в итоге вызывает необходимость автоматизированной обработки полученных изображений. При этом одними из наиболее информативных составляющих процесса анализа полученной с БПЛА информации являются панорамные изображения, которые позволяют анализировать непрерывную последовательность снимков. Качество получаемых панорамных изображений во многом определяется используемыми технологиями и алгоритмами выделения, сегментации и совмещения отдельных кадров в единое изображение [1,2]. Все вышесказанное определяет необходимость в создании средств повышения эффективности технологических процессов формирования панорамных изображений, которые учитывают различные условия съемки, геометрические искажения, повороты и наклон камер и обеспечивающих высокую точность и быстродействие.

Вопросами формирования панорамных изображений занимались российские и зарубежные ученые Сойфер ВА., Потапов A.A., Пахомов A.A., Никитин CA., Гуляев Ю.В., Я.А. Фурман, Jain P., Shandliy V., Szeliski R., Levin A., Zomet A., Peleg S., Weiss Y., Lowe D., Bay H., Tuytelaars T., Gool L., Harris C., Stephens M., Sevcenco I., Hampton P. и Agathoklis P., Lucas B., Kanade T.

Одной из основных задач при формировании панорамных изображений является проблема выделения однородных объектов и поиска особых точек. Наиболее распространенными алгоритмами сопоставления, которые

применяются для решения данной задачи, являются алгоритмы SIFT (Scale-invariant feature transform) и SURF (Speed-Up Robust Features). Необходимо

подчеркнуть, что данные алгоритмы обеспечивают высокий уровень сопоставления, но, как правило, используют данные информацией об окрестности характерных точек, тогда как необходима информация и об их взаиморасположении.

Другой важной задачей, реализуемой в процессе формирования панорамных изображений, является задача детектирования объектов. Результатом выделения объекта является разбиение кадра на две непересекающиеся области: область объекта и область фона. Поэтому, задачу выделения объекта можно рассматривать как частный случай проблемы сегментации изображения, т.е. разбиения изображения на несколько областей (сегментов) по какому-либо критерию.

Одним из наиболее распространенных методов детектирования объектов является метод скользящего окна, который, несмотря на ряд преимуществ, не обеспечивает высокую точность распознавания и характеризуется низким быстродействием. Существующие способы повышения производительности имеют ряд ограничений в зависимости от условий съемки, а также требуют наличия предварительных знаний об объекте, представленных в виде его модели.

Еще одной задачей формирования панорамных изображений является сшивание изображений, в процессе решения которой возникает много проблем, связанных с повреждением изображения из-за шума при его получении и передаче, необходимостью очень большого количества изображений для эффективной индексации. Последний фактор приводит к увеличению времени обработки и сшивания изображения.

В этой связи актуальным является проведение исследований, направленных на разработку методов и алгоритмов, обеспечивающих повышение эффективности автоматизированных технологических процессов формирования панорамных изображений, отличающихся повышенной точностью распознавания и высокой инвариантностью к параметрам аэрофотосъемки.

Объектом исследования являются автоматизированные технологические процессы формирования панорамных изображений .

Предметом исследования являются модели и алгоритмы, позволяющие повысить эффективность автоматизированных технологических процессов формирования панорамных изображений

Целью диссертационной работы является создание автоматизированных средств формирования панорамных изображений, позволяющих повысить эффективность технологических процессов формирования панорамных изображений, отличающихся повышенной точностью распознавания и высокой инвариантностью к параметрам аэрофотосъемки.

Для выполнения поставленной в работе цели необходимо решение следующих основных задач:

• проведение анализа методов, алгоритмов и программных средств идентификации объектов и формирования панорамных изображений ;

• разработка методов и алгоритмов детектирования объектов в процессе формирования панорамных изображений;

• исследование и разработка методов и алгоритмов сшивания кадров при формировании панорамных изображений;

• программная реализация и проведение экспериментальных исследований по оценке эффективности предложенных автоматизированных средств формирования панорамных изображений.

Методы исследования. Теоретическую и методологическую базу исследования составили теория обработки изображений, математический аппарат теории множеств и теории графов, методы статистической обработки результатов экспериментов, методы математического моделирования, методы объектно -ориентированного программирования.

В ходе проведения диссертационных исследований получены следующие новые научные результаты.

— Предложен усовершенствованный алгоритм автоматизированного построения панорамного изображения на основе модели бинарного дерева, который предполагает входной набор кадров в качестве листовых узлов дерева и использует подход снизу-вверх для его построения, обеспечивающий повышение точности сопоставления от 2,1 до 3,7% в зависимости от разрешения изображения.

— Разработан рекурсивный алгоритм поиска однородных областей при формировании панорамных изображений в виде усеченной пирамиды, который обеспечивает повышение быстродействия в 2-5 раз по сравнению с известными методами.

— Разработан нейросетевой метод детектирования объекта при формировании панорамного изображения, основанный на блочной декомпозиции сверточной нейронной сети, обеспечивающий повышение быстродействия процесса идентификации объектов изображения более чем в 2 раза по сравнению с СНС при снижении точности детектирования объектов на 2-4%.

— Разработан метод сшивания кадров аэрофотоснимков при формировании панорамных изображений на основе аффинных преобразований, который обеспечивает среднюю ошибку распознавания изображений на 25-37% соответственно.

Теоретическая и практическая значимость работы заключается в том, что предложенные методы формирования панорамных изображений увеличивают быстродействие и повышают итоговое качество обработки изображений.

Предлагаемый метод сшивания изображений на основе аффинных преобразований предполагает построение иерархического дерева, обеспечивает повышение эффективности обработки изображений с нечеткими границами и

потерянными фрагментами, а также при отсутствии информации о размерах области пересечения кадров и их взаимных яркостных и координатных искажениях.

Предложены алгоритм идентификации объектов изображения на основе блочной декомпозиции сверточной нейронной сети, а также эвристический метод разделения сверточных нейронных сетей (СНС) на блоки, основанный на методе корневой оптимизации, в совокупности обеспечивающие повышение производительности идентификации объектов при формировании панорамных изображений.

Предложен метод сшивания кадров изображения с БПЛА, основанный на оценочных характеристиках с использованием опорных точек, полученных с беспилотных летательных аппаратов, в котором для получения высокой точности сопоставления элементов учитывается ошибка проекции по отношению к высоте объекта.

Разработан метод выделения однородных областей изображений, который основан на иерархической организации данных и нормальном распределении уровня яркости в однородных областях, который за счет выборочной обработки изображения позволяет значительно повысить быстродействие процессов сегментации.

Методы исследования основаны на математическом моделировании эффектов геометрической оптики, численных методах решения задач минимизации многопараметрических функций, статистической обработке результатов эксперимента. Используются методы теории кодирования, методы цифровой обработки изображений, теории дескрипторов характерных точек, статистическая теория распознавания образов, методы системного анализа, теории графов, методы дискретного анализа и теории матриц.

Практическая значимость диссертационных исследований заключается в реализации инструментария, обеспечивающего повышение эффективности

автоматизированных технологических процессов формирования панорамных изображений, отличающихся повышенной точностью распознавания и высокой инвариантностью к параметрам аэрофотосъемки.

Предложенные в работе научно-технические решения обладают гибкостью и универсальностью, поскольку могут с успехом использоваться в системах дистанционного контроля и мониторинга состояния охраняемых объектов, системах управления и контроля технологических процессов, сбора картографической информации, системах видеонаблюдения и телемедицинских диагностических комплексах и др.

Модифицированный алгоритм, основанный на блочной декомпозиции СНС, в среднем производит идентификацию объекта изображения в 2 раза быстрее по сравнению с СНС. При фиксированной точности в 75% время идентификации объекта изображения занимает 137 мкс, что дает возможность обработки порядка 7300 изображений в одну секунду.

Разработанный алгоритм сшивания изображений на основе аффинных преобразования (АСИАП) обеспечивает среднюю ошибку распознавания - 6,39 пикселей, тогда как алгоритмы GISTl и GIST2 соответственно 9,78 и 8,56. Таким образом, разработанный алгоритм сшивания изображений на основе аффинных преобразования (АСИАП) обеспечивает снижение среднюю ошибку распознавания изображений на 25-37 % соответственно.

Разработанный метод сшивания изображений на основе модели бинарного дерева обеспечивает повышение точности сопоставления от 2,1 до 3,7 % в зависимости от разрешения изображения.

Материалы диссертационной работы внедрены в учебный процесс института СПИНТех при проведении занятий по дисциплинам «Компьютерные технологии в науке и образовании», «Нейронные сети», «Сверточные нейронные сети в компьютерном зрении». Соответствующие акты внедрения представлены в Приложении 1 .

Получены свидетельства об официальной регистрации программы для ЭВМ: «Программный модуль визуализации изображений местности на основе данных беспилотного летательного аппарата» в РОСПАТЕНТ № 2020611101 от 05 февраля 2020 г. "Программный модуль для стабилизации видеоизображений, полученных с БПЛА" в РОСПАТЕНТ № 2020612188. Свидетельства представлены в приложении 2.

Достоверность исследований подтверждается результатами испытаний, подтвердившими высокую эффективность разработанных методов и алгоритмов, которые определяются повышением эффективности технологических процессов формирования панорамных изображений, отличающихся повышенной точностью распознавания и высокой инвариантностью к параметрам аэрофотосъемки.

Личный вклад автора. Все основные результаты диссертационной работы получены автором лично. Главными из них являются следующие

• проведение анализа методов, алгоритмов и программных средств детектирования объектов и формирования панорамных изображений:

• разработка рекурсивного алгоритма поиска однородных областей;

• разработка и программная реализация нейросетевого метода и алгоритма детектирования объекта при формировании панорамного изображения;

• разработка метода сшивания кадров аэрофотоснимков при формировании панорамных изображений на основе аффинных преобразований;

• разработка алгоритма формирования панорамных изображений на основе проективных преобразований ;

• разработка алгоритма сшивания изображений на основе модели бинарного дерева;

• программная реализация и проведение экспериментальных исследований по оценке эффективности предложенных автоматизированных средств формирования панорамных изображений.

Реализация и внедрение полученных результатов. Результаты проведенных диссертационных исследований внедрены в: Научно-исследовательскую работу по теме «Разработка и создание универсальной открытой программно-аппаратной платформы для проектирования устройств обработки потокового видео для беспилотных летающих аппаратов мониторинга экологической ситуации и состояния природных объектов» Федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно -технологического комплекса России на 2014 - 2020 годы» (шифр заявки «2019-05-576-0001-004»), а также в учебный процесс Института системной и программной инженерии и информационных технологий (СПИНТех) Национального исследовательского университета «МИЭТ» при проведении занятий по дисциплинам «Компьютерные технологии в науке и образовании», «Нейронные сети», «Сверточные нейронные сети в компьютерном зрении».

Основные положения, выносимые на защиту:

• Метод сшивания изображений на основе аффинных преобразований и модели иерархического дерева обеспечивает повышение эффективности обработки изображений с нечеткими границами и потерянными фрагментами при отсутствии информации о размерах области пересечения кадров и их взаимных яркостных и координатных искажениях.

• Усовершенствованный алгоритм построения панорамного изображения на основе модели бинарного дерева, основанный на оценочных характеристиках с использованием опорных точек, который предполагает входной набор кадров в качестве листовых узлов дерева и использует подход снизу-вверх для его построения.

• Нейросетевой метод детектирования объекта при формировании панорамного изображения основан на блочной декомпозиции сверточной

нейронной сети, обеспечивающий повышение производительности идентификации объектов при формировании панорамных изображений.

• Рекурсивный алгоритм поиска однородных областей при формировании панорамных изображений, основанный на иерархическом представлении изображения в виде усеченной пирамиды. Апробация и внедрение результатов работы.

Основные положения диссертационной работы были апробированы на следующих конференциях:

• Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика ». (Москва, Зеленоград, МИЭТ, 20152018 гг.).

• Всероссийская научно-практическая конференция «Актуальные проблемы информатизации в науке и образовании» (Москва, Зеленоград, МИЭТ, 2014, 2016, 2018-2019 гг.).

• IEEE Russia Section Young Researchers in Electrical and Electronic Engineering Conference, ElConRus. (National Research University of Electronic Technology "MIET", Moscow, 2017- 2020 гг.).

• 2018 International Russian Automation Conference (RusAutoCon), Sochi, 2018.

• The 3rd International Conference on Applied Research in ScienceTechnology and Knowledge (STKConf), 2019, Berlin.

• 2020 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi, 2020.

• International Conference Engineering Technologies and Computer Science (EnT), 2020, Moscow, Russia.

Публикации. По результатам исследований опубликовано 23 печатных научных работ, в том числе 4 статьи в журналах из ВАК, 7 публикации, входящие

в базы данных Scopus и Web of Science, а также 2 свидетельства о регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения, списка литературы из 94 наименований и трех приложений. Общий объем диссертационной работы 172 страниц, включая 8 таблиц и 56 рисунков.

ГЛАВА 1. АНАЛИЗ МЕТОДОВ, АЛГОРИТМОВ И ПРОГРАММНЫХ СРЕДСТВ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ И ФОРМИРОВАНИЯ ПАНОРАМНЫХ ИЗОБРАЖЕНИЙ

1.1. Особенности использования беспилотных летательных аппаратов

В последние десятилетия наблюдается ухудшение экологической ситуации в мире: рост концентрации загрязняющих атмосферу вредных веществ, увеличение количества образования отходов производств и потребления, загрязнение сточных вод. Поскольку нынешнее состояние природоохранных инструментов и механизмов контроля состояния окружающей природной среды является неэффективным, то возникает необходимость постоянного мониторинга, как экологической ситуации, так и природных объектов в целом.

На протяжении многих лет мониторинг проводился на стационарных постах наблюдения и маршрутными исследованиями. С каждым годом происходит совершенствование технологий в данной сфере. Разработка беспилотных летательных аппаратов (БПЛА) является одним из ярких примеров, которая пришла на смену контактным методам. БПЛА могут различаться по конструкции, назначению, степени автономности: от управляемых дистанционно до полностью автоматических [1].

Реализация беспилотных технологий является одной из значимых задач, решение которой требуется для устойчивого развития экологической отрасли. Именно беспилотные летательные аппараты направлены на поддержание мониторинга экологической ситуации и состояния природных объектов.

В связи с тем, что экологическая ситуация в нашей стране неуклонно ухудшается и требует более пристального внимания, беспилотные летательные аппараты представляют особый интерес для учёных. За рубежом БПЛА используются в различных исследованиях уже на протяжении многих лет.

Этапы развития БПЛА. Рассмотрим существующие подходы к определению этапов развития БПЛА.

Впервые БПЛА начали применять в 1910 году в качестве мишеней для тренировок лётчиков и зенитчиков, реализовав изобретение американского инженера Ч.Ф. Кеттеринга. Фактически, его летательный аппарат, который после запуска управлялся часовым механизмом, а по истечении расчетного времени сбрасывал крылья, падал на территорию противника и при столкновении с землей взрывался, стал прообразом управляемой бомбы [2].

В 1933 году в Великобритании был разработан первый БПЛА многоразового использования (проект DH.82B Queen Bee), который с 1934 года по 1943 год использовался королевскими ВВС под названием Queen Bee [3].

Во время Второй Мировой войны разработкой своих моделей беспилотных летательных аппаратов занимались также инженеры-конструкторы Германии, СССР и США. В СССР под руководством авиаконструктора В. Никитина была создана беспилотная летающая ракета с дальностью полета более 100 км при скорости 700 км/ч, не нашедшая, однако, широкого применения. Следует отметить, тем не менее, что в 1941 году применение БПЛА в СССР состоялось: для дистанционного подрыва мостов использовали в качестве беспилотного самолета тяжелый бомбардировщик ТБ-3 [4].

В тот же период в США в качестве самолета-мишени в массовое производство запустили БПЛА Radioplane QQ-2, позднее появились модели QQ-3 и QQ-14. Среди разработок американских авиаконструкторов следует также отметить беспилотный ударный бомбардировщик Interstate TDR -1 и его модификации: XTDR-1, TDR-1, XTD2R-1, XTD3R-1, XTD3R-2, TD3R-1. Всего за годы Второй Мировой войны в Америке разработано 15 тысяч БПЛА [4].

Прогнозируется интенсивное применение БПЛА в нижеследующих областях народного хозяйства [5,6]:

1) Спектрозональная съёмка (сельское хозяйство).

2) Аэрофотосъемка местности (сельское хозяйство, лесное хозяйство, лесная промышленность, плановая и перспективная съемка).

3) Учёт животных с воздуха (охотхозяйства, национальные парки, заповедники).

4) Дистанционный контроль состояния нефте- и газопроводов.

5) Аэрокосмическая съемка местности (загрязнение природной среды, техническое состояние объектов, исследования экзогенных процессов, составления карт грунтов, зон подтоплений, оттаивающих грунтов и др.).

6) Аэрофотосъемка и геодезия (обновление топографических карт, контроль снегового и ледового покрова, создание географических и других информационных систем).

7) Мониторинг лесных ресурсов.

8) Для целей мониторинга территорий и безопасности охраняемых объектов c использованием методов повышения помехоустойчивости при акустическом зондировании территории.

К очевидным преимуществам БПЛА в перечисленных сферах использования относятся [7]:

• мобильность;

• эффективность и оперативность получения снимков высокого качества;

• возможность использования на сложном рельефе (склоны, овраги, возвышенности и пр.);

• возможность выбора высот от сверхнизких (1-1,5 м) до более 500 м;

• фиксация фото и видео с разной высоты для большей детализации;

• возможность эксплуатации в экстремальных климатических и географических условиях.

Среди недостатков, связанных с применением БПЛА, необходимо отметить следующие [6,7]:

• управление БПЛА требует специального обучения (недостаток навыков у операторов представляет собой опасность для окружающих: людей, имущества и для полётов «традиционных» летальных аппаратов);

• влияние погодных условий на управление беспилотниками;

• цена БПЛА зависит от технологического уровня бортового вычислительного устройства беспилотной системы.

Для минимизации рисков при использовании беспилотных авиационных систем, они и их элементы подлежат обязательной сертификации в соответствии с Федеральным законом от 03.07.2016 №291 «О внесении изменений в воздушный кодекс Российской Федерации» на основе федеральных авиационных правил [8]. Аппараты весом от 0,25 до 30 кг, ввезенные или произведенные в России, должны быть зарегистрированы, т.к. управлять БПЛА разрешается только при наличии соответствующих прав [9].

На основании вышеперечисленных характеристик БПЛА и в соответствии с решаемыми в процессе данных ПНИ задачами, есть основания полагать, что наиболее подходящими для сбора и обработки больших объемов потоковых видеоданных являются аппараты мини- и легкого класса. Выдвинутое предположение связано с тем, что указанные БПЛА способны перемещать требуемое оборудование массой до 5 кг, обладают достаточным радиусом действия - от 30 до 50 км, что позволяет одному аппарату контролировать с периодическим облетом территорию, площадь которой достигает 3000 кв. км.

В результате изучения первоисточников относительно применения малогабаритных беспилотников, оснащенных навесным аналитическим оборудованием, в качестве аналога следует отметить мониторинговый комплекс БПЛА, который применялся для решения следующих задач [9]:

• проведение дистанционного воздушного мониторинга, видеосъемки и аэрофотосъемки местности и объектов с высоты от 50 до 1000 м;

• проведение измерений радиационного загрязнения атмосферы;

• количественное определение запыленности атмосферы в заданной точке, концентрации кислорода, диоксида азота, сероводорода, измерение температуры и давления в определённой зоне.

Следует отметить четыре стадии мониторинга с помощью БПЛА [10]:

1) рекогносцировка территории (в район предполагаемых работ выезжают специалисты с целью камерального исследования;

2) выбор объекта исследования (изучение атмосферного воздуха с применением БПЛА и конечный перечень измеряемых параметров);

3) численное моделирование экспериментальных данных (моделирование с применением данных дистанционного мониторинга, которые получены с помощью малогабаритных БПЛА, оснащенных навесным аналитическим оборудованием);

4) оценка и прогноз ситуации (полученные результаты сравнивают с архивными данными, далее делается вывод об изменении экологической ситуации; осуществляется зонирование территории по степени загрязнения).

Использование данного способа мониторинга позволяет: повышать точность и скорость определения преобладающих зон на различных вертикальных/ горизонтальных уровнях от источников загрязнения, выявлять действительную дальность переноса загрязняющих веществ, проводить наблюдения в малодоступных местах; получать трёхмерное изображение .

Резюмируя вышесказанное можно констатировать обоснованность и успешность применения БПЛА для задач мониторинга, рассмотренных в источниках [9,10]. Одной из основных задач, возникающих в процессе аэрофотосъемки является формирование и обработка панорамных снимков, представляющие из себя высокодетализированные изображения местности,

которые, как правило, трудно получить в виде цельной фотографии. В свете вышесказанного, в данной главе проводится обзор методов и средств, обеспечивающих формирование панорамных изображений [2].

1.2. Анализ методов сшивания изображений

Цель сшивания изображении состоит в том, чтобы увеличить разрешение изображения и поле зрения. Как правило, камера способна фотографировать только в рамках своего собственного обзора; она не может фотографировать большую картинку со всеми подробностями, запечатленными в одном кадре.

Панорамная визуализация решает эту проблему путем объединения изображений, полученных от различных источников в единый образ. Такие изображения полезны для видеонаблюдения, видео-уплотнения, дистанционного зондирования и т.д. Алгоритмы сшивания изображений создают высокое разрешение фото мозаики, используемые для производства современных цифровых карт и спутниковых фотографий. Создание изображений с высоким разрешением путем объединения более мелких изображений стали популярными с появлением фотографии.

Алгоритмы формирования панорамных изображений предполагают следующие этапы [12,13]:

• формируется набор смежных кадров;

• на сформированных кадрах выделяются смежные области;

• сопоставляются признаки изображения;

Список литературы диссертационного исследования кандидат наук Наинг Линн Аунг, 2021 год

Список литературы

1. Sen-Ching, S. C. Robust techniques for background subtraction in urban traffic video / S. C. Sen-Ching, C. Kamath // Visual Communications and Image Processing. International Society for Optics and Photonics. Vol. 5308, 2004 - pp. 881-892.

2. Stauffer, C. Learning patterns of activity using real-time tracking / C. Stauffer, W. E. L. Grimson // Pattern Analysis and Machine Intelligence, IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, no. 8, 2000 -pp. 747-75

3. Гончаров А. Беспилотники России // Армейский сборник: журнал. 2015. Февраль (т.248, №2).- С.39-43.

4. Зайцев А., Назарчук И. и др. Беспилотные ЛА зарубежных стран // Армейский сборник: журнал. 2015. Февраль (т.248, №2). - С.249-258.

5. Федосеева Н.А., Загвоздкин М.В. Перспективные области применения беспилотных летательных аппаратов //Научный журнал. 2017 (9). - С.26-29.

6. Что мешает беспилотникам развиваться? // Независимое издание RUSBASE. М., 2015. URL: https://ruvsa.com/reports/drones%2C+development%2C+good+future/

7. Батоцыренов Э.А., Бешенцев А.Н. Использование БПЛА в географических исследованиях // Материалы Всероссийской научн. -прак.конф. Иркутск, 22—23 мая 2018г. - С.20-24.

8. Использование беспилотных летательных аппаратов в сельском хозяйстве. Зубарев Ю.Н. , Фомин Д.С., Чащин А.Н., Заболотнова М.В. // Пожарная безопасность: проблемы и перспективы. 2018. - С.47-55.

9. Федеральный закон от 03.07.2016 №291 «О внесении изменений в воздушный кодекс Российской Федерации».

10. Лященко Ю.В. Правовой аспект использования беспилотных аппаратов в России // Актуальные проблемы авиации и космонавтики. 2016. -С. 612-615.

11. Пашкевич М.А., Смирнов Ю.Д., Данилов А.С. Оценка качества окружающей среды с применением малогабаритных беспилотных летательных аппаратов //Записки горного института. 2014. Т.207. - С. 213

12. Алагова Ю.О., Гусев К.А. Система формирования панорамных изображении на основе двух снимков// Современные научные исследования и разработки. 2019. № 1 (30). - С. 80-83.

13. Горбунова О.Ю. Формирование панорамного изображения // Известия Тульского государственного университета. Технические науки. 2010. № 4-1. - С. 297-301.

14. Hartley, R. Multiple View Geometry in Computer Vision. Second Edition / R. Hartley, A. Zisserman // NY: Cambridge University Press. - 2004. -668 р.

15. Zuliani, M. RANSAC for Dummies / M. Zuliani. - 2013. - 101 р.

16. Мерков, А. Б. Распознавание образов: Построение и обучение вероятностных моделей. Учебное пособие [Текст] / А. Б. Мерков // М.: ЛЕНАНД. 2014. - 240 с.

17. Zhao J.-H., Han B.-L., Luo X., Zhong X.-L., Huang Y.-T. Design of a visual odometry and localization based on point and line features fusing// Beijing Ligong Daxue Xuebao. 2019. Vol. 39, no.5. - Р. 480-485.

18. Tran N.T., Le Tan D.K., Doan A.D., Do T.T., Bui T.A., Tan M., Cheung N.M. On-Device scalable image-based localization via prioritized cascade

search and fast one-many RANSAC // IEEE Transactions on Image Processing. 2019. Vol. 28, no.4. - Р. 1675-1690.

19. Терехов М.А. Обзор современных методов визуальной одометрии // Компьютерные инструменты в образовании. 2019. № 3. - С. 514.

20. Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений// Компьютерная оптика. 2016. Т. 40. № 2. - С. 258-265.

21. Новиков Д.С., Фаворская М.Н. Многополосное смешивание изображений в задаче формирования панорамных снимков// Актуальные проблемы авиации и космонавтики. 2013. Т. 1. № 9. - С. 374-375.

22. Бабаев А.М. Алгоритм отслеживания движения объекта на основе вычисления оптического потока// Modern Science. 2019. № 12-4. - С. 301-306.

23. Константинов И.С., Лазарев С.А., Шуляк Б.Ю. Анализ методов определения особых точек на изображениях// Информационные системы и технологии. 2018. № 3 (107). - С. 33-39.

24. Сафонов А.С. Построение SIFT-дескрипторов и нахождение особых точек на изображениях//Известия Тульского государственного университета. Технические науки. 2017. № 2. - С. 182-188.

25. Xin X., Liu B., Di K., Jia M., Oberst J. High-precision co-registration of orbiter imagery and digital elevation model constrained by both geometric and photometric information // ISPRS Journal of Photogrammetry and Remote Sensing. 2018. Vol. 144. - Р. 28-37.

26. Синичкина Т.А., Медведев М.В. Выделение особенностей объекта на основе дескриптора ключевых точек SURF // В

сборнике: Информационные технологии на службе общества материалы Международной научно-практической конференции. 2014. - С. 38-39.

27. Bay, H. Speeded-Up Robust Features (SURF) / H. Bay, A. Ess, T. Tuytelaars // Computer Vision and Image Understanding (CVIU) - 2008. - V. 110, № 3. - P. 346-359.

28. Oyallon, E. An analysis and implementation of the SURF method, and its comparison to SIFT / E. Oyallon, J. Rabin // IPOL - 2013. - 31 p.

29. Wu H., Wen Z., Ming Z., Wang D., Shi L. MIDSAGITTAL plane extraction from brain images based on 3D SIFT // Physics in Medicine and Biology. 2014. Vol. 59, no.6. - P. 1367-1387.

30. Сафонов А.С. Построение SIFT-дескрипторов и нахождение особых точек на изображениях // Известия Тульского государственного университета. Технические науки. 2017. № 2. - С. 182-188.

31. Орлова А.В., Скрибцов П.В., Долгополов А.В. Детекция объектов путем кластеризации MSER // Нейрокомпьютеры: разработка, применение. 2013. № 5. - С. 038-045.

32. Tang Y., Wu X., Bu W., Zhang E. Offline signature verification based on ASIFT // Beijing Hangkong Hangtian Daxue Xuebao. 2015. Vol. 41, no.1. - P. 110-116.

33. Власов А.С., Тарковалин С.А. Применение фильтра Кальмана для повышения точности управления мобильным роботом. В сборнике: СОВРЕМЕННЫЕ КОНЦЕПЦИИ РАЗВИТИЯ НАУКИ Сборник статей Международной научно-практической конференции, 2016. - С. 13-15.

34. Агеев, А. Д. Нейроматематика. Кн. 6: Учеб. пособие для вузов [Текст] / А. Д. Агеев, А. Н. Балухто, А. В. Бычков, С. А. Верещагин, И. В. Винокуров и др. // М.: ИПРЖР. 2002. - 448 с.

35. Балухто, А. Н. Нейросетевая фильтрация и сегментация цифровых изображений [Текст] / А. Н. Балухто, Л. Е. Назаров // Нейрокомпьютеры в прикладных задачах обработки изображений. Кн. 25. 2007. - С. 7-24.

36. Барский, А. Б. Логические нейронные сети: учеб. пособие [Текст] / А. Б. Барский // М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний. 2011. - 352 с

37. Мерков, А. Б. Распознавание образов: Построение и обучение вероятностных моделей. Учебное пособие [Текст] / А. Б. Мерков // М.: ЛЕНАНД. 2014. - 240 с

38. Галиулин, Р. М. Применение нейронных сетей в задачах распознавания трёхмерных объектов [Текст] / Р. М. Галиулин, Б. Г. Ильясов, М. Г. Мугаттаров // Нейрокомпьютеры в системах обработки изображений. Кн. 7. 2003. - С. 32-38.

39. Галушкин, А. И. Нейрокомпьютеры для обработки изображений [Текст] / А. И. Галушкин, Н. С. Томашевич, Е. И. Рябцев // Нейрокомпьютеры в прикладных задачах обработки изображений. Кн. 25. 2007. - С. 74-109.

40. Галушкин, А. И. Нейронные сети: основы теории [Текст] / А. И. Галушкин // М.: Горячая линия-Телеком. 2010. - 496 с.

41. Liu X., Zhang R., Hong R., Meng Z., Liu G. On fusing the latent deep CNN feature for image classification // World Wide Web. 2019. Vol. 22, no.2. - P. 423-436.

42. Girshick, R. Fast R-CNN / R. Girshick // In Proceedings of the 15 th IEEE Conference on Computer Vision and Pattern Recognition, 2015 - pp. 14401448.

43. Ren, S. Faster R-CNN: Towards real-time object detection with region proposal networks / S. Ren, K. He, R. Girshick, J. Sun // Advances in Neural Information Processing Systems, 2015 - pp. 91-99.

44. Шмаглит Л.А., Приоров А.Л., Хрящев В.В., Матвеев Д.В. Детектирование лиц на изображениях в условиях аддитивного белого гауссовского шума // Электромагнитные волны и электронные системы. 2014. Т. 19. № 5. С. 62-70.

45. Koldaev, V. D., Kyaw Zaw Ye, Naing Linn Aung Aerial Images Stitching Algorithm Base On Geometric Alignment Of Frames // 3rd International Conference on Applied Research in Science, Technology and Knowledge (STKConf) March 15-18, 2019, - Berlin, - P. 5-12.

46. Петров А.С. Применение метода Виолы-Джонса для детектирования людей в сложных сценах // Решетневские чтения. 2015. Т. 2. -С. 241-243.

47. Ращенко Д.В., Ращенко Ю.В Применение методов обнаружения объекта по характерным точкам в алгоритме TLD// Процессы управления и устойчивость. 2017. Т. 4. № 1. - С. 481-485.

48. Палютина О.В., Юсупов А.Р. Применение алгоритма RANSAC в задачах распознавания объектов // В сборнике: Роль и место информационных технологий в современной науке / сборник статей Международной научно-практической конференции. 2018.- С. 74-77.

49. Гаранин О.И., Борисов В.В. Метод сопровождения движущихся объектов в условиях неопределенности их детектирования// В сборнике: Проблемы управления и моделирования в сложных системах. Труды XXI Международной конференции. В 2-х томах. Под редакцией С.А. Никитова, Д.Е. Быкова, С.Ю. Боровика, Ю.Э. Плешивцевой. 2019. С. 229-233.

50. Gorbunov Vladimir, Ionov Evgen, Naing Linn Aung ,Automatic Detection and Classification of Weaving Fabric Defects Based on Digital Image Processing//2019 IEEE Russia Young Researchers in Electrical and Electronic Engineering Conference (ElConRus) January 28-31, 2019. - M.: MIET, LETI, 2019. - P. 2218-2221.

51. Наинг Линн Аунг, Анализ программных продуктов для создания панорамных изображений //9-я Всероссийская межвузовская научно практическая конференция «Актуальные проблемы информатизации науке, образовании и экономике -2016». - М.: МИЭТ, 2016. - С.135

52. Казакова А.С., Зотин А.Г. Анализ программных продуктов для создания панорам // Актуальные проблемы авиации и космонавтики. 2010. Т. 1. № 6. - С. 353-354.

53. Ma B., Zimmermann T., Rohde M., Winkelbach S., He F., Lindenmaier W., Dittmar K.E.J. Use of Autostitch for automatic stitching of microscope images // Micron. 2007. Vol. 38, no.5. - P. 492-499.

54. Ozer C., Gurkan F., Gunsel B. Target aware visual object tracking // Lecture Notes in Computer Science (см. в книгах). 2019. - P. 186-198.

55. Никитин В.В. Обнаружение объектов на изображениях с применением сверточных нейронных сетей // В сборнике: XXIV Туполевские чтения (школа молодых ученых) Материалы Международной молодёжной научной конференции. В 6-ти томах. 2019. С. 627-631.

56. Наинг Линн Аунг, Рекурсивный алгоритм поиска однородных областей изображений// Международная научно-практическая конференция «Актуальные проблемы информатизации в цифровой экономике и научных исследованиях» (28-29 ноября 2019) - М.: МИЭТ, 2019. - С.165.

57. Наинг Линн Аунг, Портнов, Е.М. Разработка метода обнаружения опорных точек аэрофотоснимков // Научный журнал

«Инженерный вестник Дона». - 2020. - №2. URL: ivdon.ru/uploads/article/pdf/IVD_54_1_Portnov.pdf_bf4ffa6544.pdf

58. Портнов Е.М., Чжи Я Аунг Использование метода цветовых гистограмм для получения полутоновых изображений// Естественные и технические науки. 2008. № 6 (38). С. 251-252.

59. Дмитриев Е.А. Алгоритм обучения нейронной сети методом обратного распространения ошибки// В сборнике: Научные исследования и разработки студентов. Сборник материалов VI Международной студенческой научно-практической конференции. Редколлегия: О.Н. Широков [и др.]. 2018. С. 63-65.

60. Лафоре, Р. Объектно-ориентированное программирование в C++. Классика Computer Science / Р. Лафоре. - СПб.: Питер, 2013. - 928 c.

61. Рендольф Ник , Гарднер Дэвид , Минутилло Майкл , Андерсон Крис Visual Studio 2010 для профессионалов; Диалектика - Москва, 2011. -692 c.

62. Geng L., Peng X., Xiao Z., Li X., Yang Z. Fast traffic sign recognition based on convolution neural network // В сборнике: 2017 International Conference on Computer Systems, Electronics and Control, ICCSEC 2017. 2017. P. 281-286.

63. Ткаченко С.В. Оценка распознавания образов на сверточной нейронной сети, используя GOOGLE изображения // В сборнике: Сахаровские чтения 2018 года: экологические проблемы XXI века. материалы 18-й международной научной конференции. Под общей редакцией С. А. Маскевича, С. С. Позняка. 2018. С. 165-166.

64. Довбенко А.В Хранение данных в NOSQL системах на примере MONGODB. Вестник науки и образования. 2015. № 4 (6). С. 49-51.

65. Сиденков М.С. Создание клиент-серверных приложений с использованием технологии SWAGGER// В сборнике: Студент: наука, профессия, жизнь. Материалы VII всероссийской студенческой научной конференции с международным участием. В 4-х частях. 2020. С. 353-359.

66. Гагарина Л.Г., Портнов Е.М., Кокин В.В., Наинг Л.А. Программный модуль визуализации изображений местности на основе данных беспилотного летательного аппарата// Свидетельство о регистрации программы для ЭВМ RU 2020612188, 18.02.2020. Заявка № 2020611101 от 05.02.2020.

67. Наинг Линн Аунг, Повышение эффективности системы гарантированной защиты вычислительных и информационных ресурсов//22-я Всероссийская межвузовская научно техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2015». - М.: МИЭТ, 2015. -С.187.

68. Наинг Линн Аунг, Портнов Е.М., Шипатов А.В. Разработка методики стабилизации изображений, полученых с БПЛА//Актуальные проблемы современной науки.-№2, 2020.- C.197-200.

69. Мерков, А. Б. Распознавание образов: введение в методы статистического обучения [Текст] / А. Б. Мерков // М.: Едиториал УРСС. 2011. - 256 с.

70. Косовская, Т. М. Иерархическое описание классов и нейросетевое распознавание сложных объектов [Текст] / Т. М. Косовская, А. В. Тимофеев // Кн. 23. Современные проблемы нейроинформатики. Часть 3. 2007. - С. 30-33.

71. Наинг Линн Аунг, Создание панорамных изображений методом компьютерного зрения//23-я Всероссийская межвузовская научно

техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2016». - М.: МИЭТ, 2016. - С.169.

72. Zaw Win Htet, Naing Linn Aung, Kyaw Zaw Ye, Koldaev V. D.,Dorogov V. G., The Edges Detection In Images Using The Clustering Algorithm//2017 IEEE Russia Young Researchers in Electrical and Electronic Engineering Conference (ElConRus) February 1-3, 2017 Part II. - M.: MIET, LETI, 2017. - P. 609-612.

73. Koldaev V. D., Kyaw Zaw Ye, Naing Linn Aung , Zaw Win Htet. The study of the process of stitching video images in real time//2018 IEEE Russia Young Researchers in Electrical and Electronic Engineering Conference (ElConRus) January 29-31, 2018. - M.: MIET, LETI, 2018. - P.1831-1834.

74. Наинг Линн Аунг, Модифицированный алгоритм сшивания аэрофотоснимков//11-я Всероссийская научно практическая конференция «Актуальные проблемы информатизации в науке и образовании -2018». - М.: МИЭТ, 2018. - С.40.

75. Ильин, В. А. Аналитическая геометрия [Текст] / В. А. Ильин, Э. Г. Позняк // М.: ФИЗМАТЛИТ. 2002. - 240 с.

76. A. V. Shipatov, E. M. Portnov, A. K. Myo and N. L. Aung, "Adaptive Algorithm For Object Tracking In Video Image," 2020 International Conference Engineering Technologies and Computer Science (EnT), Moscow, Russia, 2020, pp. 54-58, doi: 10.1109/EnT48576.2020.00016.

77. Зо Вин Хтет,Аунг Чжо Тун, Наинг Линн Аунг, Федоров П.А., Особенности контурной сегментации для последующего получения панорамных изображений// Журнал «Научное обозрение». - М.: №17, 2015. -С.160-164.

78. Савельев Б.И., Мамай И.Б., Николаев Д.П., Арлазаров В.Л., Булатов К.Б., Скорюкина Н.С. Метод согласования графа проективных

преобразований для задачи панорамирования плоских объектов // Труды Института системного анализа Российской академии наук. 2018. Т. 68. № S1. С. 124-133.

79. Блинов А.О. Приложение метода наименьших квадратов к задачам моделирования и оптимизации// Вестник Тамбовского университета. Серия: Естественные и технические науки. 2007. Т. 12. № 4. С. 412-414.

80. Рассел, Джесси Обобщённый метод наименьших квадратов / Джесси Рассел. - М.: VSD, 2013. - 971 c.

81. Колдаев В.Д., Гагарина Л.Г., Теплова Я.О. Методологические аспекты сшивания кадров аэрофотоснимков // Информатизация и связь.

2017. № 4. - С. 26-29.

82. Колдаев В.Д., Наинг Линн Аунг Метод сшивания кадров аэрофотоснимков в системах видеонаблюдения// Журнал «Известия высших учебных заведений. Электроника». - М.: МИЭТ, T.23, №.2, 2018. - С.194-202.

83. Наинг Линн Аунг, Создание алгоритма повышения эффективности панорамных изображений//25-я Всероссийская межвузовская научно техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2018». - М.: МИЭТ, 2018. - С.201.

84. Вычислительная геометрия и алгоритмы компьютерной графики. Работа с 3D-графикой средствами OpenGL: учеб. пособие / К. В. Рябинин; Перм. гос. нац. исслед. ун-т. - Пермь, 2017. - 100 с.

85. Koldaev V. D., Naing Linn Aung, The Algorithm of Stitching Aerial Images Frames in Video Surveillance Systems//2018 International Russian Automation Conference (RusAutoCon) September 9-16, 2018. - Adler, Sochi,

2018. - P.118-122.

86. Наинг Линн Аунг, Разработка алгоритма повышения точности при совмещении изображений// 24 -я Всероссийская межвузовская научно

техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2017». - М.: МИЭТ, 2017. - С.165.

87. Назаров, Л. Е. Нейросетевые алгоритмы обнаружения, классификации и распознавания объектов на изображениях// Нейрокомпьютеры в прикладных задачах обработки изображений. Кн. 25. 2007. - С. 25-54.

88. Колдаев, В. Д. Основы алгоритмизации и программирования: учеб. пособ. / Под ред. Л.Г. Гагариной - М.: ИД «ФОРУМ»: ИНФРА-М, 2006. - 416 с.

89. Наинг Линн Аунг, Разработка системы безопасности гридовского типа в среде облачных вычислений//7-я Всероссийская межвузовская научно практическая конференция «Актуальные проблемы информатизации науке, образовании и экономике -2014». - М.: МИЭТ, 2014. - С.114.

90. Наинг Линн Аунг, Чжо Зо Е, Чжо Зин Лин, Разработка методики децентрализованной диагностики и диагностируемости с использованием модели тестирования//«Вести высших учебных заведений Черноземья», №3(41), Автоматизация и информатика -Липецк, ЛГТУ, 2015. - С.60-70.

91. Silva F.A., Hiraga A.K., Paiva M.S.V., Artero A.O. STITCHINGPHM-a new algorithm for panoramic images // Pattern Recognition and Image Analysis (Advances in Mathematical Theory and Applications). 2014. -P. 41-56.

92. Yana O. Teplova, Victor D. Koldaev, Naing Linn Aung. Improving Induction Motors Energy Efficiency Characteristics Control Methods by Using Testing Processes Automation for Purposes of Energy-efficient Electrical Machines Development // 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), St. Petersburg and Moscow, Russia, 2020, P. 2425-2430, Doi: 10.1109/ EIConRus49466.2020.9039324.

93. Naing Linn Aung, Evgeni M. Portnov, Kirill O. Epishin. Developed Algorithm for Making Up Convex Hull Based on Binary Tree//2020 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM) May 18-22, 2020. - Adler, Sochi, 2020. - P.1-6. Doi: 10.1109/ICIEAM48468.2020.9112046.

94. Naing Linn Aung, Andrey V. Shipatov, Evgeni M. Portnov, Aung Kyaw Myo. Adaptive Algorithm For Object Tracking In Video Image// 2020 International Conference Engineering Technologies and Computer Science (EnT) June 24-26, 2020. - Moscow, 2020. - P.54-58. Doi: 10.1109/EnT48576.2020.00016.

ПРИЛОЖЕНИЕ 1

УТВЕРЖДАЮ

.......'"г -

Шорейгор МЦЭТ по учебной работе, V, рА, н,, профессор

Игнатова И.Г, 2020 г.

АКТ

васдренив результатов диссертационной работы На лиг Лини Аунг мл it? м у «Разработка моделей и алгоритмов для исвышсния эффективности а втоматнзнроваин ы х технологических процессов формирования минорам пых изображении», представленной на соискание ученой степени кандидата технических наук по специальности 05.13,06 — Автоматизация н управление технологическими процессами и производствами {в приборостроении)

Результаты кандидатской диссертации Майн г Линн Аунг , посвященной разработке методов и алгоритмов, обеспечивающих потьцненне эффективности технологических процессов формирования панорамных изображений, отличающихся повышенными быстродействием и точностью распознавания, а также высокой инвариантностью к параметрам аэрофотосъемки, а именно:

• метод сшивания изображений на основе аффинных преобразований;

• усовершенствованный алгоритм построения панорамного изображения на основе модели бинарного дерева:

• рекурсивный алгоритм поиска однородных областей при формировании панорамных изображений

используются в учебном процессе Института СПИМТех Национального исследовательского университета "МИЭТ1 в лекционных и практических занятиях по дисциплинам : «Компьютерные технологии в науке и образовании», «Нейронные сети», "Сверточные нейронные сети в компьютерном зреини".

Дирекзор института СПИ I [Тех,

Д.Т.Н., профессор

Л.Г. Гагарина

Ученый секретарь института (Л к,т. и., доцеи г

В.В. Слюсарь

у-..........^УТВЕРЖДАЮ

I ЙмректоЬ; МкЙТ по научной работе,

1 /у

\zyS-Tjt., профессор

У/ Л- ~ .

______ь IX 1 аврилов С,Л.

2020 г.

АКТ

в недр и нн я результат л в днссертац нон вон работы Ни ни г Лини Душ ни тему «Разработка моделей и алгоритмов для повышения зффе ктн н н ос I и а втоматнз и р о на 11 1 г м \ технологи чес ких и рои сс со в формирован ни панорамных изображений», представленной на соискание ученой степени кандидата технических наук по специальности 05,13.06 — Автоматизация в управление технологическими процесса ми и пр№1заодегнамн(впри1>оростр»снии)

Результаты кандидатской диссертации Наин г Линя Аунг, направленной на создание автоматизированных средств формирования панорамных изображений, позволяющих повысить эффективность технологических процессов формирования панорамных изображений, отличающихся повышенной точностью распознавания и высокой инвариантностью к параметрам аэрофотосъемки , а, именно:

- ненросетевой метод детектирования объекта мри формировании панорамного изображения, основанный па блочной декомпозиции свор точной нейронной сети,

- программный модуль детектирования объекта при формировании панорамного изображения,

- использованы в процессе выполнения ПНИЭР по теме «Разработка н создание универсальной открытой программно-аппаратной платформы для проектирования устройств обработки потокового видео для беспилотных летающих аппаратов мониторинга экологической ситуации и состояния природных объектов» (шифр заявки «2019-05-576-0001-004», уникальный идентификатор проекта ИРМЕЕТбОЗ 19X0181) федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-гечнологического комплекса России на 2014 -2020 годы

В ходе проведения экспериментальных исследований установлено, что модифицированный алгоритм, основанный на блочной декомлозиини сверточных нейронных с®тей (СНС), в среднем производит идентификацию обьекта изображения быстрее более чем н 2 paia по сравнению с СН( При фиксированной точности в 75% время идентификации обьекта изображения занимает П7 .мкс, что дает возможность обработки порядка 7.300 изображений в одну секунду.

Руководитель ПНИ ЭР,

Отвественный исполнитель ШШОР , д.т.н., профессор

дл\н„ профессор

Л.Г. Гагарина

Ü.M, Портнов

ПРИЛОЖЕНИЕ 2

ПРИЛОЖЕНИЕ 3 Фрагменты программной реализации разработанных алгоритмов

Программный модуль сшивания видеоизображений

#include <stdio.h> #include <iostream> #include "opencv2/core/core. hpp" #include "opencv2/features2d/features2d.hpp" #include "opencv2/highgui/highgui. hpp" #include "opencv2/nonfree/nonfree.hpp" #include "opencv2/calib3d/calib3d.hpp" #include "opencv2/imgproc/imgproc. hpp" #include "opencv2/video/tracking.hpp" #include "opencv2/gpu/ gpumat.hpp" #include "opencv2/gpu/gpu.hpp" #include <iostream> #include <fstream>

using namespace std; using namespace cv;

static void printUsageO {

cout <<

"Real-time Video Mosaic.\n\n"

"\n *****YOU CAN PRESS \"R\" TO RESET THE FOV> THE FOV WILL BE AUTOMATICALLY SAVED BEFORE RESET.\n" "\n *****you CAN PRESS \"E\" TO EXIT.\n"

;

}

string filename = "c:\\data\\test1.mp4";

double XScale = 4; double YScale = 4; bool log_flag = false; int device_num = -1; int features_num = 300;

string detector_type = "fast"; string descriptor_type = "brisk"; string save_pano_to = "panorama.jpg"; string warpjtype = "affine"; double x_start_scale = -1; double y_start_scale = -1; int detector_set_input = 10; int matchjfilter = 0; Mat Hjkol = Mat::eye(3, 3, CV_32F); Mat H = cv::Mat::eye(3, 3, CV_64F); Mat H2 = Mat::eye(2, 3, CV_32F); Mat HjOld = Mat::eye(3, 3, CV_32F);

static int parseCmdArgs(int argc, char** argv) {

if (argc == 0) {

printUsage(); return -1;

}

for (int i = 1; i < argc; ++i) {

if (string(argv[i]) == "--help" || string(argv[i]) == "/?") {

printUsage(); return -1;

}

else if (string(argv[i]) == "--source") {

filename = argv[i + 1]; try{

device_num = stoi(filename); }

catch (...)

{

device_num = -1;

}

i++;

}

else if (string(argv[i]) == "--xscale") {

XScale = atof(argv[i + 1]);

i++;

}

else if (string(argv[i]) == "--yscale") {

YScale = atof(argv[i + 1]);

i++;

}

else if (string(argv[i]) == "--matchfilter")

{

if (string(argv[i + 1]) == "0" || string(argv[i + 1]) == "1"|| string(argv[i + 1]) == "1") match_filter = atof(argv[i + 1]);

i++;

}

else if (string(argv[i]) == "--x") {

x_start_scale = atof(argv[i + 1]);

i++;

}

else if (string(argv[i]) == "--y") {

y_start_scale = atof(argv[i + 1]);

i++;

}

else if (string(argv[i]) == "--detector") {

if (string(argv[i + 1]) == "orb_grid" || string( rgv [i + 1]) == "fast_grid" string( rgv [i + 1]) == "surf_grid" string( rgv [i + 1]) == "sift_grid"

string(argv[i + 1]) == "fast" string(argv[i + 1]) == "surf" string(argv[i + 1]) == "orb") detector_type = argv[i + 1]; if (argc > i + 2){

if (atoi(argv[i + 2]) <= 0) i++;

else {

features_num = atoi(argv[i + 2]);

i += 2;

}

}

\"perspective

else if (string(argv[i]) == "--save")

save_pano_to = argv[i + 1];

i++;

else if (string(argv[i]) == "--warp")

if (string(argv[i + 1]) == "perspective" || string(argv[i + 1]) == "affine") warp_type = string(argv[i + 1]); else std::cout << "Bad Warp method. You can use \"affine\" or ". Processing with default method which is \"affine\"." << endl; i++;

else if (string(argv[i]) == "--log") log_flag = true;

else if (string(argv[i]) == "--descriptor")

if (string(argv[i + 1]) == "brisk" || string(argv[i + 1]) == "freak"

string(argv[i + 1]) == "brief" || string(argv[i + 1]) == "orb" || string(argv[i + 1]) == "surf") descriptor_type = argv [i + 1];

else {

cout << "Bad extractor type method. Using default :

BRISK ";

}

i++;

}

}

return 0;

}

bool cmpfun(DMatch a, DMatch b) { return a.distance < b.distance; }

int automatic_feature_detection_set(Mat image) {

cv::FeatureDetector* detectors = NULL; int last_progress = 0; if (detector_type == "surf")

detectors = new SurfFeatureDetector(detector_set_input, true); else if (detector_type == "fast")

detectors = new FastFeatureDetector(detector_set_input, true);

if ((detector_type == "surf') || (detector_type == "fast")) {

vector< KeyPoint > keypoints_last; detectors->detect( image, keypoints_last); int max = keypoints_last.size();

while (keypoints_last.size() > features_num + 50) {

detector_set_input += 3;

if (detector_type == "fast") detectors->set("threshold", detector_set_input);

if (detector_type == "surf") detectors->set("hessianThreshold", detector_set_input);

detectors->detect( mag , keypoints_last);

int progress = 100 - ((keypoints_last.size() - 348) * 100 / max); if (progress >= 100 || progress<0) progress = 100; if (last_progress != progress) std::cout << "Please wait: It might take some minutes for configuration. " << progress << "%" << endl;

last_progress = progress;

}

std::cout << "Configured successfully. The parameter for feature

detector is " << detector_set_input << endl; }

return 0;

}

int main(int argc, char* argv[]) {

double time_algorithm=0; double time_complete=0; parseCmdArgs(argc, argv); double norms = 0;

cv::Mat img, current_frame, gray_lastimage, gray_curimage; Mat img_last, img_last_key; Mat img_cur, img_cur_key; Mat mask;

Mat img_last_scaled, img_cur_scaled; int fps = 0;

VideoCapture cap;

if (device_num >= 0) {

std::cout << "Opening camera device number " << device_num << ". Please wait..." << endl;

if (!cap.open(device_num)) {

std::cout << "Camera device number " << device_num << " does not exst or installed. Please select another device or read from video file." << endl;

return -1;

}

}

else {

if (!cap.open(filename)) {

std::cout << "Bad file name. Can't read this file." << endl; return -1;

}

}

if (device_num >= 0)

for (int k = 0; k < 10; k++) cap >> img; else cap >> img;

cv::Mat offset = cv::Mat::eye(3, 3, CV_64F); int counter = 0;

cout <<

" << endl;

cout << "X-Sacle: " << XScale << " & Y-Scale: " << YScale << endl; cout «"Detector type: "<< detector_type << " Features: '<<features_num<<endl;

cout << "Descriptor type: " << descriptor_type << endl; cout << "Warping Mode: " << warp_type << endl; cout << "Filter Mode: " << match_filter << endl; cout <<

" << endl;

double start_width; double start_height;

if (x_start_scale < 0) start_width = img.cols*(XScale / 2 - 0.5); else start_width = img.cols*(x_start_scale); if (y_start_scale < 0) start_height = img.rows*(YScale / 2 - 0.5); else start_height = img.rows*(y_start_scale);

Mat final_img(Size(img.cols * XScale, img.rows * YScale), CV_8UC3); Mat f_roi(final_img, Rect(start_width, start_height, img.cols, img.rows)); img.copyTo(f_roi); img.copyTo(img_last);

Size size_wrap(final_img.cols, final_img.rows); char key; Mat rImg;

double work_megapix = 0.7;

double work_scale = min(1.0, sqrt(work_megapix * 1e6 / img.size().area())); resize(img_last, img_last_scaled, Size(), work_scale, work_scale);

cv::cvtColor(img_last_scaled, gray_lastimage, CV_RGB2GRAY); automatic_feature_detection_set(gray_lastimage);

cv::FeatureDetector* detector = NULL; if (detector_type == "fast_grid")

detector = new GridAdaptedFeatureDetector(new FastFeatureDetector(10, true), features_num, 3, 3); else if (detector_type == "surf_grid")

detector = new GridAdaptedFeatureDetector(new SurfFeatureDetector(700, true), features_num, 3, 3); else if (detector_type == "sift_grid")

detector = new GridAdaptedFeatureDetector(new SiftFeatureDetector(), features_num, 3, 3); else if (detector_type == "orb_grid")

detector = new GridAdaptedFeatureDetector(new OrbFeatureDetector(), features_num, 3, 3); else if (detector_type == "surf")

detector = new SurfFeatureDetector(detector_set_input, true); else if (detector_type == "orb")

detector = new OrbFeatureDetector(features_num);

else

detector = new FastFeatureDetector(detector_set_input, true);

vector< KeyPoint > keypoints_last, keypoints_cur; detector->detect(gray_lastimage, keypoints_last);

DescriptorExtractor* extractor = NULL; if (descriptor_type == "brisk") extractor = new BRISK;

else if (descriptor_type == "orb") extractor = new OrbDescriptorExtractor;

else if (descriptor_type == "freak") extractor = new FREAK;

else if (descriptor_type == "brief") extractor = new BriefDescriptorExtractor;

else if (descriptor_type == "surf") extractor = new SurfDescriptorExtractor;

Mat descriptors_last, descriptors_cur;

extractor->compute(gray_lastimage, keypoints_last, descriptors_last);

double gui_time;

int64 t, start_app,start_algorithm;

Mat panorama_temp;

int64 start_app_main = getTickCount();

bool last_err = false;

bool first_time_4pointfound = false; bool second_time_4pointfound = false;

while (true)

{ start_app = getTickCount(); counter++; cout <<

" << endl;

cout << counter << endl; cap >> img_cur;

start_algorithm = getTickCount(); if (img_cur.empty()) break;

cvNamedWindow("current video", CV_WINDOW_NORMAL);

imshow("current video", img_cur);

waitKey(l);

resize(img_cur, img_cur_scaled, Size(), work_scale, work_scale); if (img_cur.empty()) break;

cvtColor(img_cur_scaled, gray_curimage, CV_RGB2GRAY); t = getTickCount();

detector->detect(gray_curimage, keypoints_cur) ; cout << "features= " << keypoints_cur.size() << endl;

cout << "detecting time: " << ((getTickCount() - t) / getTickFrequency()) << endl;

t = getTickCount();

extractor->compute(gray_curimage, keypoints_cur, descriptors_cur); cout << "descriptor time: " << ((getTickCount() - t) / getTickFrequency()) << endl;

t = getTickCount();

if (descriptors_last.type() != CV_32F) {

descriptors_last.convertTo(descriptors_last, CV_32F);

}

if (descriptors_cur.type() != CV_32F) {

descriptors_cur.convertTo(descriptors_cur, CV_32F);

}

vector< DMatch > matches; BFMatcher matcher(NORM_L2, true);

matcher.match(descriptors_last, descriptors_cur, matches); if (matches. empty()) { last_err = false; continue;

}

vector< DMatch > good_matches; vector< DMatch > good_matches2;

vector<Point2f> matchl, match2; sort(matches.begin(), matches.end(), cmpfun);

if (match_filter == 0) {

double max_dist = 0; double min_dist = 100;

for (int i = 0; i < matches.size(); i++) {

double dist = matches[i].distance; if (dist < min_dist) min_dist = dist;

if (dist > max_dist) max_dist = dist;

for (int i = 0; i < matches.size() && i < 50; i++) {

if (matches[i].distance <= 4 * min_dist) {

good_matches2.push_back(matches[i]);

}

}

else if (match_filter == 1) { int counterx; float res;

for (int i = 0; i < (int)matches.size(); i++){ counterx = 0;

for (int j = 0; j < (int)matches.size(); j++){ if (i !=j){ res =

cv::norm(keypoints_last[matches[i].queryIdx] .pt -keypoints_last[matches [j ]. queryldx] .pt) -cv::norm(keypoints_cur[matches[i] .trainldx] .pt -keypoints_cur[matches[j].trainIdx].pt);

if (abs(res) < (img.rows*0.03 + 3)){ counterx++;

}

}

}

if (counterx > (matches.size() / 10)){

good_matches.push_back(matches[i]);

}

}

double max_dist = 0; double min_dist = 100;

for (int i = 0; i < good_matches.size(); i++) {

double dist = good_matches[i].distance; if (dist < min_dist) min_dist = dist; if (dist > max_dist) max_dist = dist;

}

cout << "max_dist:" << max_dist << endl; cout << "min_dist:" << min_dist << endl;

if ((max_dist == 0) && (min_dist == 0)) {

last_err = false; continue;

}

sort(good_matches.begin(), good_matches.end(), cmpfun);

for (int i = 0; i < good_matches.size() && i < 50; i++) {

if (good_matches[i].distance <= 4 * min_dist) {

good_matches2.push_back(good_matches[i]);

}

}

}

else if (match_filter == 2)

good_matches2 = matches;

cout << "goodmatches features-' << good_matches2.size() << endl;

vector< Point2f > obj_last; vector< Point2f > scene_cur;

for (int i = 0; i < good_matches2.size(); i++) {

obj_last.push_back(keypoints_last [good_matches2[i]. queryldx] .pt);

scene_cur.push_back(keypoints_cur[good_matches2 [i] .trainldx] .pt); }

cout << "match time: " << ((getTickCount() - t) / getTickFrequency())

<< endl;

t = getTickCount(); Mat mat_match;

if (scene_cur.size() >= 4) {

first_time_4pointfound = true;

drawMatches(img_last, keypoints_last, img_cur, keypoints_cur, good_matches2, mat_match);

cvNamedWindow("match", WINDOW_NORMAL); imshow("match", mat_match); if (counter == 1) waitKey(0);

if (warp_type == "affine") {

H2 = estimateRigidTransform(scene_cur, obj_last, 0);

if (H2.data == NULL) { last_err = false; good_matches. clear(); good_matches2.clear(); scene_cur.clear(); obj_last.clear(); continue;

}

H.at<double>(0, 0) = H2.at<double>(0, 0);

H.at<double>(0, 1) = H2.at<double>(0, 1);

H.at<double>(0, 2) = H2.at<double>(0, 2); H.at<double>(1, 0) = H2.at<double>(1, 0); H.at<double>(1, 1) = H2.at<double>(1, 1); H.at<double>(1, 2) = H2.at<double>(1, 2);

cout << "H=" << H2 << endl;

}

else if (warp_type == "perspective") {

H = findHomography(scene_cur, obj_last,

CV_RANSAC, 3);

if (H.empty()){

good_matches. clear(); good_matches2.clear(); scene_cur.clear(); obj_last.clear();

continue;

cout << "H=" << H << endl;

}

H.convertTo(H, CV_32F); H_old.convertTo(H_old, CV_32F); Mat correlation;

matchTemplate(H_old, H, correlation, CV_TM_CCOEFF_NORMED);

cout << "correlation:" << correlation << endl; double nownorms = norm(H - H_old, 2); H.convertTo(H, CV_64F); H_old.convertTo(H_old, CV_64F); cout << "now norm:" << nownorms << endl; cout << "miangin norm:" << norms << endl;

if (norms == 0) norms = nownorms;

if ((nownorms > 2 * norms) && (abs(correlation.at<float>(0))

< 0.8) || (nownorms > 10 * norms))

{

if (!last_err && (counter != 1)) {

cout << "Errorrrrr" << endl; if (log_flag){

string name = "Error_frame_" +

to_string(counter) + ".jpg";

imwrite(name, panorama_temp); }