Многопользовательская мультиспектральная информационная система панорамного обзора тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Кудинов Игорь Алексеевич

• Кудинов Игорь Алексеевич
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Кудинов Игорь Алексеевич

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР И АНАЛИЗ ПАНОРАМНЫХ СИСТЕМ, АЛГОРИТМОВ И МЕТОДОВ ФОРМИРОВАНИЯ ПАНОРАМНЫХ ВИДЕОИЗОБРАЖЕНИЙ

1.1 Обзор и анализ панорамных систем

1.2 Обзор методов сшивки панорам

1.2.1 Последовательность сшивки панорамного изображения

1.2.2 Методы сшивки изображений

1.2.3 Методы сшивки видео

1.2.4 Методы сшивки круговых 360° панорам

1.3 Известные методики и тест-объекты для калибровки камер различных спектральных диапазонов

Выводы по первой главе

ГЛАВА 2. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ РАБОТЫ МНОГОКАНАЛЬНОЙ МУЛЬТИСПЕКТРАЛЬНОЙ ОБЗОРНОЙ ОПТИКО -ЭЛЕКТРОННОЙ СИСТЕМЫ ФОРМИРОВАНИЯ ПАНОРАМНОГО ИЗОБРАЖЕНИЯ В РЕАЛЬНОМ ВРЕМЕНИ

2.1 Выбор проективной модели камеры

2.2 Разработка универсального тест-объекта для калибровки камер ТВ и ИК диапазонов

2.2.1 Планарный нагреваемый ТО с виниловой плёнкой

2.2.2 Тест-объект для калибровки камер с различными полями зрения

2.2.3 Выводы по разделу

2.3 Алгоритмы калибровки камер и вспомогательных датчиков ПСТЗ с распределенной апертурой

2.3.1 Калибровка камер ПСТЗ

2.3.2 Калибровка микроэлектромеханических датчиков ускорения

2.3.3 Калибровка микроэлектромеханических датчиков угловой скорости

2.3.4 Выводы по разделу

2.4 Разработка алгоритма и технического обеспечения для автоматизированной калибровки разноспектральных камер

2.5 Разработка алгоритма формирования панорамного изображения

2.5.1 Формирование панорамного изображения

2.5.2 Проецирование изображений на виртуальную поверхность гауссовой кривизны

2.5.3 Разработанный метод совмещения изображений различных спектральных диапазонов с предварительной фотограмметрической калибровкой камер по универсальному ТО

2.5.4 Компенсация поворота систем координат вспомогательных датчиков относительно системы координат опорной камеры

2.5.5 «Алгоритм № 1»: известный алгоритм формирования ПОИ из общего панорамного кадра

2.5.6 «Алгоритм № 2»: разработанный алгоритм формирования ПОИ путём непосредственного проецирования

2.5.7 Выводы по разделу

2.6 Расчёт абсолютной ошибки совмещения сюжетных соответствий на макете ПСТЗ

2.6.1 Порядок расчёта абсолютной ошибки совмещения сюжетных соответствий

2.6.2 Условия проведения экспериментального вычисления абсолютных ошибок совмещений сюжетных соответствий

2.6.3 Сравнительный анализ ошибок совмещений сюжетных соответствий разработанного метода и известного метода совмещения по особым точкам контурного препарата

Выводы по второй главе

ГЛАВА 3. ПОВЫШЕНИЕ КАЧЕСТВА ПАНОРАМНОГО ИЗОБРАЖЕНИЯ И ПОВЫШЕНИЕ БЫСТРОДЕЙСТВИЯ

3.1 Компенсация перепадов яркости в перекрывающихся областях между изображениями от камер ПСТЗ

3.1.1 Реализация процедуры билинейной интерполяции при формировании изображения в ПОИ

3.1.2 Реализация алгоритма многодиапазонного блэндинга

3.1.3 Низкочастотная фильтрация с применением ВОХ-фильтра

3.2 Повышение быстродействия алгоритма компенсации яркости

3.2.1 Вычислительная сложность известного алгоритма компенсации перепадов яркости

3.2.2 Разработанная автором оптимизированная версия алгоритма компенсации яркости

3.2.3 Реализация алгоритма дилатации

3.2.4 Быстродействие оптимизированной версии алгоритма компенсации яркости при выполнении на центральном процессоре

3.2.5 Повышение быстродействия разработанного алгоритма компенсации яркости с применением технологии NVIDIA CUDA

3.2.6 Выводы по разделу

3.3 Компенсация геометрического шума ИК изображений

3.3.1 Известные подходы к компенсации геометрического шума

3.3.2 Разработка алгоритма повышения качества ИК изображений по серии кадров, получаемой с ИК фотоприёмников

3.3.3 Разработка алгоритма повышения качества ИК изображений по серии кадров при изменении температуры ИК матричного фотоприёмника

3.3.4 Сравнение пиковых значений соотношения сигнал/шум результатов работы методов компенсации геометрического шума

3.3.5 Вывод по разделу

Выводы по третьей главе

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ И ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ АЛГОРИТМОВ ФОРМИРОВАНИЯ И УЛУЧШЕНИЯ ПАНОРАМНЫХ ВИДЕОИЗОБРАЖЕНИЙ

4.1 Состав и структурная схема макета ПСТЗ

4.2 Выбор алгоритма для формирования нескольких ПОИ в ПСТЗ с распределённой апертурой

4.2.1 Расчёт количества ЭВО для одновременного формирования нескольких ПОИ

4.2.2 Пример выбора алгоритма формирования ПОИ

4.3 Практическое применение алгоритмов формирования и улучшения панорамных видео

Выводы по четвёртой главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Многопользовательская мультиспектральная информационная система панорамного обзора»

ВВЕДЕНИЕ

Актуальность работы. Актуальным направлением создания информационных обзорных оптико-электронных систем технического зрения (СТЗ) являются многопользовательские мультиспектральные информационные системы панорамного обзора с распределенной апертурой (РА). Подобные системы формируют панорамные видео- или фотоизображения с широким полем зрения [1, 2] по информации от нескольких разнесённых в пространстве камер и обеспечивают вывод сформированного панорамного изображения. Необходимость разработки информационных систем с РА объясняется потребностью одновременного мультиспектрального обзора несколькими пользователями собственных персональных областей интереса (ПОИ). До применения систем с РА панорамный обзор осуществлялся механическим перемещением линии визирования (ЛВ), однако в настоящее время, в связи с удешевлением камер, стало актуальным построение панорамных систем технического зрения (ПСТЗ) с РА без механических приводов. Отказ от электромеханического перемещения ЛВ камер СТЗ для формирования ПОИ пользователя обеспечивает одновременную независимую работу нескольких операторов СТЗ без задержек. ПОИ представляет собой часть общего сформированного панорамного изображения, которая предназначена для вывода на устройство отображения (монитор, многофункциональный дисплей, визор системы виртуальной реальности). Угловые размеры поля зрения ПОИ в общем случае определяются пользователем, но, как правило, совпадают с угловыми размерами поля видения человека. Для авиационных СТЗ управление ЛВ и отображение ПОИ реализуют с помощью нашлемных информационно-управляющих систем [3 - 5].

Для обеспечения круглосуточного всепогодного видения и повышения вероятности обнаружения и распознавания объектов сцены в состав СТЗ включают каналы технического зрения различных диапазонов оптического спектра. Совмещение информации от них (сшивка изображений каждого диапазона, формирование ПОИ, объединение информации о наблюдаемых в различных диапазонах объектах - комплексирование) в реальном масштабе времени является важной научно-практической задачей.

ПСТЗ широко используются во многих областях: беспилотный автомобильный и железнодорожный транспорт, видеонаблюдение, видеотрансляции спортивных соревнований, робототехнические системы и системы дополненной реальности, экшн-камеры с полем зрения 360 градусов, обзорные СТЗ управляемых и беспилотных летательных аппаратов (БПЛА) и наземной техники [6]. Особую роль ПСТЗ занимают в развивающемся направлении обнаружения, сопровождения и идентификации малых БПЛА [7].

Разработка разноспектральных ПСТЗ предполагает решение дополнительного комплекса задач, связанных как с оптимальным расположением каналов технического зрения (КТЗ) в пространстве (например, по критерию минимума камер при заданных угловых размерах поля зрения), так и с выбором наиболее информативных для текущей фоноцелевой обстановки рабочих спектральных диапазонов, совмещением изображений КТЗ, их комплексированием и улучшением. При объединении информации от камер видимого и инфракрасного (ИК) диапазонов оптического спектра важным фактором является подавление геометрического шума ИК приёмников.

С учётом данных задач формируются основные требования, предъявляемые к современной ПСТЗ:

• одновременная работа с сенсорами различных диапазонов оптического спектра для обеспечения круглосуточного всепогодного видения и высокой эффективности обнаружения и распознавания интересующих объектов сцены в условиях плохой видимости;

• низкая (не более 3 пикселей) абсолютная погрешность совмещения изображений;

• комплексирование изображений для получения дополнительной информации об объекте наблюдения и увеличения информативности изображения, выводимого на ПОИ;

• применение методов повышения визуального качества изображений;

• обеспечение режима одновременной независимой работы нескольких пользователей;

• компенсация перепадов яркости, вызванных различными условиями экспонирования в различных каналах технического зрения ПСТЗ для улучшения визуального качества наблюдаемого изображения;

• подавление геометрического шума инфракрасных приёмников, основанное на анализе наблюдаемой сцены;

• скорость обработки персональной области интереса в реальном времени с высокой частотой обновления информации (до 30 кадров в секунду).

Степень разработанности темы. Исследованию научных вопросов, связанных с геометрическим объединением (сшивкой) изображений, посвящены работы известных отечественных и зарубежных учёных. Существенный вклад в развитие этих направлений внесли Багдасарова О.В., Багдасаров А.А. [8], Аршакян А.А. [9], Широков Р.И., Алехнович В.И. [10], Бельский А.Б., Жосан Н.В., Брондз Д.С. [11], Szeliski R. [12], Hartley R., Zisserman A. [13], Lowe D., Brown M. [14], Faugeras O.[15]. Задачам объединения на уровне пикселей информации от сенсоров различных диапазонов оптического спектра посвящено свыше трёх тысяч научных работ отечественных и зарубежных исследователей и учёных. Следует выделить Еремеева В.В., Кузнецова А.Е. [16], работы коллективов исследователей научных школ Визильтера Ю.В. [17, 18], Алпатова Б.А. и Бабаяна П.В. [19], Костяшкина Л.Н. [20], Toet A. и Hogervorst M.A. [21], Zheng Y. [22] и других. Несмотря на широкий спектр существующих технических решений, можно установить, что в большинстве из них используются камеры только одного оптического диапазона [23], что связано с большим количеством требуемых вычислительных операций и сложностью обеспечения низкой погрешности совмещения изображений камер видимого и ИК диапазонов оптического спектра. Однако распараллеливание операций и повышение производительности современных вычислителей позволяют обрабатывать изображения с КТЗ различных спектральных диапазонов в режиме реального времени с высокой частотой обновления информации.

В зарубежной литературе различают два метода регистрации изображений: гиперспектральный и мультиспектральный (англ.: Hyperspectral and Multispectral Imaging). Эти термины часто путают между собой, но они представляют разные

методы визуализации, каждый из которых имеет свои области применения. Различие гипер- и мультиспектральных изображений заключается как в количестве полос спектральных диапазонов, так в типе измерения, которым получено изображение. Получение мультиспектральных изображений происходит по типу цветной фотографии, дискретно и с созданием нескольких (обычно от 3 до 15) изображений различных спектральных диапазонов, охватывающих спектр от видимого света до длинноволновой инфракрасной области спектра, а сами диапазоны волн обычно имеют размер порядка десятков нанометров. При гиперспектральной обработке происходит визуализация узких спектральных диапазонов, количество которых может достигать нескольких сотен. В истинно гиперспектральном изображении каждый пиксель соответствует информации о координатах, интенсивности сигнала и длине волны.

В отечественной литературе в трудах научных школ Визильтера Ю.В. [17, 18], Алпатова Б.А. и Бабаяна П.В. [19], Костяшкина Л.Н. [20] применяется термин «многоспектральные изображения», что является дословным переводом термина «Multispectral Image» (мультиспектральные изображения).

Цель диссертации заключается в разработке и исследовании методов и алгоритмов формирования видеоизображения в рамках создаваемой многопользовательской мультиспектральной информационной системы панорамного обзора, обеспечивающей возможность одновременной работы нескольких пользователей с высокой скоростью формирования персональных областей интереса.

Для достижения сформулированной цели необходимо решить следующие задачи диссертационной работы:

1. Провести сравнительный анализ известных методов, алгоритмов и систем формирования панорамного изображения. Выявить их недостатки.

2. Разработать алгоритм и техническое обеспечение для автоматизированной калибровки камер видимого и инфракрасных диапазонов, которые по сравнению с известными неавтоматизированными аналогами гарантируют калибровку разноспектральных камер с использованием всей площади снимаемых изображений.

3. Разработать метод совмещения видимых и инфракрасных изображений, который в отличие от известных подходов не требует информации о сюжетных соответствиях контурного препарата (особых точках).

4. Разработать алгоритм компенсации геометрического шума в видеопоследовательностях изображений, полученных с матричных фотоприёмных устройств инфракрасного диапазона ИК изображений, который обеспечит выигрыш в коэффициенте подавления структурного шума по сравнению с наиболее применяемыми аналогами.

5. Разработать алгоритм непосредственного формирования персональной области интереса из изображений, находящихся в поле зрения этой области, оптимизированный по критерию количества затрачиваемых элементарных вычислительных операций для одновременной работы нескольких пользователей в реальном времени и, как следствие, требующий меньших затрат машинного времени по сравнению с известным алгоритмом формирования нескольких областей интереса из полного панорамного изображения.

Методы исследования. Для решения поставленных задач в работе использованы математические методы проективной геометрии, цифровой обработки изображений, численной оптимизации, математической статистики. Для проверки теоретических положений применялись полунатурные эксперименты и математическое имитационное моделирование.

Научная новизна проведенных исследований заключается в том, что в результате их выполнения:

- предложены алгоритм и техническое обеспечение автоматизированной калибровки видеокамер различных спектральных диапазонов, которые позволили проводить калибровку разноспектральных камер в автоматизированном режиме и гарантировать калибровку разноспектральных камер с использованием всей площади снимаемых изображений по сравнению с известными неавтоматизированными аналогами;

- предложен метод совмещения цифровых изображений различных спектральных диапазонов, обеспечивающий за счёт выполнения предварительной фотограмметрической калибровки камер по универсальному тест-объекту

выигрыш в средней абсолютной ошибке геометрического совмещения до 6,6 раза по сравнению с методом, предложенным Новиковым А.И. и обеспечивающим совмещение по особым точкам контурного препарата;

- разработан алгоритм компенсации геометрического шума в видеопоследовательностях изображений, полученных с матричных фотоприёмных устройств инфракрасного диапазона, основанный на анализе наблюдаемой сцены, обеспечивающий выигрыш в коэффициенте подавления структурного шума по сравнению с известным алгоритмом Ш HDS до 1,3 раза;

- разработан алгоритм одновременного формирования персональных областей интереса для работы нескольких пользователей, формирующий по сравнению с аналогами изображение непосредственно в персональной области интереса; разработан обеспечивающий минимизацию элементарных вычислительных операций критерий для выбора алгоритма формирования персональных областей интереса операторов ПСТЗ.

Основные положения, выносимые на защиту.

1. Алгоритм и техническое обеспечение автоматизированной калибровки видеокамер различных спектральных диапазонов, которые позволили проводить калибровку разноспектральных камер в автоматизированном режиме и по сравнению с известными неавтоматизированными аналогами гарантировать калибровку разноспектральных камер с использованием всей площади снимаемых изображений.

2. Метод совмещения изображений различных спектральных диапазонов, обеспечивающий за счёт выполнения предварительной фотограмметрической калибровки камер по универсальному тест-объекту выигрыш в средней абсолютной ошибке геометрического совмещения до 6,6 раза по сравнению с алгоритмом совмещения по особым точкам контурного препарата.

3. Оптимизированная версия алгоритма компенсации яркости, выполняемая при формировании персональной области интереса на панорамной системе технического зрения с пятью камерами, при реализации вычислений на одном ядре процессора ПЭВМ, позволяет повысить скорость формирования персональной области интереса в 5,4 раза по сравнению с неоптимизированным

вариантом; алгоритм компенсации геометрического шума в видеопоследовательностях изображений, полученных с матричных фотоприёмных устройств инфракрасного диапазона, основанный на анализе наблюдаемой сцены, который обеспечивает выигрыш в коэффициенте подавления структурного шума до 1,3 раза по сравнению с алгоритмом Ш HDS. 4. Алгоритм формирования персональных областей интереса непосредственно с плоскостей изображений камер по сравнению с известным алгоритмом формирования персональной области интереса из общего панорамного кадра, который позволяет для конкретной конфигурации панорамной системы минимизировать вычислительные затраты на реализацию панорамного обзора в персональной области интереса в режиме работы одного пользователя до 7,6 раза, а в режиме одновременной независимой работы двух пользователей - до 4 раз.

Практическая ценность работы заключается в следующем: Результаты диссертационной работы могут быть использованы при построении специализированных многопользовательских панорамных обзорных систем и систем автоматизированной калибровки камер различных спектральных диапазонов, что подтверждено полученными автором патентами. Результаты диссертационной работы внедрены в АО «РИФ» в автоматизированном рабочем месте для калибровки разноспектральных камер по универсальным тест-объектам и применяются для исправления дисторсии изображений, полученных с камер телевизионного и инфракрасного спектральных диапазонов, совмещения изображений различных спектральных диапазонов, компенсации геометрического шума изображений, полученных с ИК приёмников, а также в учебном процессе кафедры «ЭВМ» РГРТУ. Имеются соответствующие акты внедрения результатов кандидатской диссертационной работы, которые приведены в приложении Б.

Достоверность полученных результатов подтверждается результатами стендовой отработки на макете ПСТЗ, лабораторных исследований, математического моделирования, а также результатами применения предложенных способов и устройств в АО «РИФ» в автоматизированном рабочем месте для калибровки разноспектральных камер по универсальным тест-объектам.

Апробация работы. Основные научные результаты, полученные в диссертации, докладывались на 25 научных конференциях, в том числе 12 международных, из которых 3 зарубежных. Научные результаты диссертационной работы отмечены на региональном и всероссийском уровне различными наградами:

• Диплом, победитель VII Национальной научно-технической конференции, МГТУ им. Баумана, г. Москва, 2017 г., приказ № 8 от 05.09.2017.

• Почётная грамота за личный творческий вклад в области изобретательства и рационализации, г. Рязань, Рязанское областное отделение общественной организации «ВОИР», постановление областного совета № 3 от 27.06.2018.

• Диплом, 1 место в номинации «Информационно-телекоммуникационные технологии авиационных, ракетных и космических систем» конкурса научно-технических работ «Молодежь и будущее авиации и космонавтики», МАИ, г. Москва, 2018 г.

• Первое место (Best Paper Award, first place), лучшая публикация по итогам пятой Международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2019), г. Самара, 2019 г.

• Третье место (Best Paper Award, third place), лучшая публикация по итогам шестой Международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (ИТНТ-2020), г. Самара, 2020 г.

• Присуждение премии Губернатора Рязанской области в 2020 году «Молодой учёный года» за высокие результаты в научно-исследовательской деятельности.

Публикации. Основные теоретические и практические результаты, полученные в диссертации, изложены в 41-й публикации, среди которых 6 статей в журналах, включенных в перечень ВАК (в том числе 3 по специальности, одна из них включенна в базы данных Web of Science и Scopus-Q2), 7 статей в материалах конференций, включенных в базу данных Scopus (одна из них ещё включена и в Web of Science), 10 патентов на изобретение РФ (из них 6 патентов на способ и 4 на устройство), 18 тезисов докладов на российских и международных конференциях.

Личный вклад. Представленные на защиту результаты диссертационных исследований получены автором лично. Автором самостоятельно исследованы методы и алгоритмы формирования панорамных изображений, разработаны

алгоритмы калибровки камер различных спектральных диапазонов, исследованы алгоритмы повышения качества инфракрасных изображений. Разработанный алгоритм формирования панорамного видеоизображения и метод совмещения изображений по предварительной калибровке рассмотрены в работах [5, 6, 31, 104, 115, 121, 132, 134, 144, 158, 159, 168, 176-178, 203, 204, 206-208], связанные с ними вопросы калибровки камер различных спектральных диапазонов и инерциальных измерительных модулей представлены в работах [103-110, 113-114, 116, 135, 136], методы и средства автоматизированной калибровки рассмотрены в работе [131], снижение вычислительных затрат при непосредственном формировании ПОИ с плоскостей изображений камер рассмотрены в работе [205], улучшение качества изображений, полученных с инфракрасных фотоприёмников, представлены в [12, 13, 27, 36, 39, 195-199], оптимизация вычислений, выполняемых при формировании ПОИ, представлена в [162]. Работы [5, 107, 113, 116, 135, 159, 177, 205-207] выполнены с участием научного руководителя, которому принадлежит постановка задач исследования, а диссертантом сформулированы и реализованы подходы к решению. Работы [108, 110] выполнены соискателем самостоятельно. Автором сформулированы лично основные положения тезисов докладов конференций.

Соответствие паспорту специальности. Проблематика, исследованная в диссертации, соответствует областям исследований 2 и 4 паспорта специальности 2.3.8 - «Информатика и информационные процессы».

Структура и объем диссертационной работы. Диссертация состоит из введения, 4-х глав, заключения, списка сокращений, списка использованных источников и приложений. Основной текст работы содержит 166 страниц, 70 рисунков и 15 таблиц. Список использованных источников включает 213 наименований. В приложениях приведены копии свидетельств регистрации патентов, документы о внедрении и практическом использовании результатов диссертации.

ГЛАВА 1. ОБЗОР И АНАЛИЗ ПАНОРАМНЫХ СИСТЕМ, АЛГОРИТМОВ И МЕТОДОВ ФОРМИРОВАНИЯ ПАНОРАМНЫХ ВИДЕОИЗОБРАЖЕНИЙ

Первостепенной задачей при проектировании многопользовательской мультиспектральной информационной системы панорамного обзора является разработка ПСТЗ, которая представляет собой программно-аппаратный комплекс, предназначенный для сбора, хранения и обработки информации. Схема информационной системы приведена на рисунке 1.

Рисунок 1 - Многопользовательская мультиспектральная информационная

система панорамного обзора

Информационная система посредством формирования панорамного изображения в ПСТЗ обеспечивает сбор информации о наблюдаемой сцене камерами N спектральных диапазонов, хранение, обработку информации о сцене, формирование непрерывного панорамного изображения сцены и вывод части наблюдаемой сцены для M независимо управляемых ПОИ операторов.

1.1 Обзор и анализ панорамных систем

Под панорамными принято понимать изображения с отношением сторон получаемого кадра не менее 2:1 и не менее чем двукратным охватом поля изображения относительно нормального съемочного объектива постоянного фокусного расстояния, обеспечивающего на полученных изображениях наиболее естественную перспективу, близкую к восприятию пространства человеческим зрением. Другими словами, панорамными называют изображения, по углу обзора перекрывающие человеческое поле зрения в пределах 120°-180° по длинной стороне и 20°-40° по короткой стороне [24].

Современное понятие панорамного изображения шире и предполагает, что доступный угол наблюдения превосходит поле зрения наблюдателя, а в конечном приближении обеспечивает сферический обзор. Для построения фотографических панорамных изображений известен ряд методов, например:

• серия снимков с перекрытием [25];

• поворотный объектив для камеры [26];

• вращающаяся (сканирующая) камера; основой является моторизованный привод, который вращает камеру вокруг нодальной точки объектива;

• использование широкоугольного объектива типа «рыбий глаз» (FishEye);

• катадиоптрическая система [27, 28];

• беспараллаксная оптическая система [2];

• многоапертурная (полидиоптрическая) система с применением методов цифрового совмещения (другие термины - склейка, сшивка, англ. stitching [29]) изображений с перекрывающимися полями зрения.

Однако из перечисленных методов только четыре последних позволяют получить полный панорамный кадр в один момент времени и применимы для создания панорамного видео.

Недостатком широкоугольной оптики с углами обзора выше 90° является то, что она формирует гномоническую проекцию (проецирование точек сферы из центра сферы на плоскость) с сильными искажениями на краях кадра и неизбежным виньетированием, следовательно, это ведёт к снижению углового разрешения кадра (рисунок 2).

Рисунок 2 - Изображение, сформированное при помощи широкоугольного

объектива с полем зрения 180°

Недостатком катадиоптрической оптики (рисунок 3, а), состоящей из зеркала в форме поверхности второго порядка и оптической системы, является формирование кругового панорамного изображения не на всей площади единственного сенсора камеры [30], поэтому некоторые пиксели по краям и центру сенсора матрицы не используются и угловое разрешение полученного такой системой кадра невелико (рисунок 3, б).

Недостатками беспараллаксной оптической системы являются необходимость точной юстировки всей оптической системы и расположения камер, а при использовании камер ТВ и ИК-диапазонов - необходимость использования камер только с одинаковыми полями зрения (рисунок 4).

Описанные выше методы построения панорамных видеоизображений накладывают ограничение на количество камер и требуют высокой точности юстировки оптических систем, состоящих из зеркал, линз или отражателей, причем в некоторых случаях конструкция оптической системы не позволяет применять одновременно датчики различных оптических диапазонов.

а б

Рисунок 3 - Катадиоптрическая система: а - катадиоптрическая насадка для объектива; б - изображение с полем зрения 360° по горизонтали, полученное при помощи катадиоптрической насадки

а б

Рисунок 4 - Беспараллаксная оптическая система: а - внешний вид; б - оптическая схема

Этих недостатков лишены методы цифровой сшивки изображений, которые позволяют формировать панорамные изображения и видео высокого разрешения из массива камер со структурированной и неструктурированной распределенной апертурой (рисунок 5), в том числе различных спектральных диапазонов.

Рисунок 5 - Примеры неструктурированных массивов камер

По методам цифрового совмещения построено большинство современных панорамных фото и видеокамер (рисунок 6).

Рисунок 6 - Многообразие современных панорамных фото- и видеокамер

Такие камеры находят широкое применение для съемки 360° видеороликов, проведения видеоконференций, трёхмерной реконструкции интерьеров помещений. Некоторые камеры, предназначенные для создания сцен виртуальной реальности, даже могут записывать видео в стереорежиме, так называемом «стерео 360». Это значит, что для каждого глаза синтезируется собственное изображение, тогда как в остальных стереокамерах более простой конструкции дублируется одно и то же на оба глаза.

Перспективным направлением является разработка многокамерных ПСТЗ для обнаружения, отслеживания и идентификации малых БПЛА [7] в воздухе. В продемонстрированном прототипе используется сеть наземных оптико-электронных станций, равномерно расположенных внутри периметра охраняемой территории (рисунок 7).

Рисунок 7 - Расположение оптико-электронных станций в прототипе

обнаружения БПЛА

Каждая оптико-электронная станция представляет собой систему из шести камер (совмещенных с направленными микрофонами) с широким полем зрения и с разрешением 2 млн пикселей каждая (всего 12 млн) для грубого обнаружения потенциальной цели с оценкой азимута и высоты (рисунок 8).

Рисунок 8 - Внешний вид оптико-электронных станций

Предполагаемые азимут и высота, в свою очередь, дают сигнал для поворота узкопольного оптического датчика для повторного обнаружения той же цели и сопровождения с гораздо большим оптическим увеличением с таким же или лучшим разрешением. Такие системы на основе камер являются пассивными и в

случае использования совместно с инфракрасными камерами позволяют проводить обнаружение БПЛА в сумерках и ночных условиях видимости.

Анализ публикаций по теме современных разработок в области обзорно-прицельных оптико-электронных систем показывает актуальность проектирования систем формирования панорамных видеоизображений для задач обзора и целеуказания [31]. Примерами таких систем являются круглосуточная обзорная система КОС-17 (рисунок 9) для вертолета Ми-171А2 (ОКТБ «Омега», Россия) [11], система с распределенной апертурой (Distributed Aperture System, DAS) AN/AAQ-37 для самолета F-35 (разработчик - Northrop Grumman, США), система BrightNite (Elbit Systems, Израиль) (рисунок 10, а, б).

Список литературы диссертационного исследования кандидат наук Кудинов Игорь Алексеевич, 2023 год

СПИСОК ЛИТЕРАТУРЫ

1. Лазаренко В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П Лазаренко, Т.С. Джамийков, В.В. Коротаев, С.Н. Ярышев // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 1. - C. 4653. DOI: 10.17586/2226-1494-2016-16-1 -46-53

2. Прудников Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ.

- 2016. - Т. 33. Вып. 1. - С. 148-161.

3. Павлов О.В. Определение пространственного положения шлема в нашлемной информационно-управляющей системе / О.В. Павлов // Известия Тульского государственного университета. Технические науки. - 2018. - № 9. - С. 126-136.

4. Helmet-mounted displays: sensation, perception, and cognition issues / E.T. Rash, M.B. Russo, T.R. Letowski, E.T. Schmeisser. - Fort Rucker: U.S. Army Aeromedical Research Laboratory, 2009. - 590 p.

5. Кудинов И.А. Концепция построения мультиспектральных панорамных систем технического зрения с распределённой апертурой и управлением персональной областью интереса пользователя с помощью нашлемной информационно-управляющей системы / И.А. Кудинов, О.В. Павлов, М.Б. Никифоров, И.С. Холопов // Оборонная техника. - Москва: НТЦ "Информтехника", 2022.

- С. 59-64.

6. Кудинов И.А. Разработка портативной видеосистемы кругового обзора для легковых и грузовых автомобилей с автоматической коррекцией геометрических искажений и улучшением видеоизображения / И.А. Кудинов, И.С. Холопов // Современные телевидение и радиоэлектроника: труды 21 -й международной научно-технической конференции. - М.: ФГУП «МКБ «Электрон», 2013. - С. 125-127.

7. Fernandez R. Slew-to-Cue Electro-Optical and Infrared Sensor Network for small UAS Detection, Tracking and Identification / S. Rizor, R. Fernandez, S. Siewert, M. Andalibi // Conference: AIAA Scitech - 2019 Forum. DOI:10.2514/6.2019-2264

8. Багдасаров А.А. Панорамные системы кругового обзора в устройствах отображения вторичной информации комплексов авионики и автобазирования /

А.А. Багдасаров, О.В. Багдасарова // Информационно-аналитический журнал «Фазотрон». - М.: ОАО «Корпорация «Фазотрон-НИИР», 2012. - №3(19). - С. 28-33.

9. Аршакян А.А. Панорамное наблюдение сцены с борта летательного аппарата / А.А. Аршакян // Известия ТулГУ. Технические науки. - 2013. - Вып. 4. - С. 144-151.

10. Алехнович В.И. Увеличение углов поля зрения составной веб-камеры методом склеивания изображений / Р.И. Широков, В.И. Алехнович // Контенант. - 2014.

- № 4. - С. 10-23.

11. Бельский А.Б. Круглосуточная панорамная система технического зрения для вертолетов / А.Б. Бельский, Н.В. Жосан, Д.С. Брондз // Фотоника. - 2013. - Т. 38, № 2. - С. 80-86.

12. Szeliski R. Computer Vision: Algorithms and Applications, 2nd ed. / R. Szeliski

- Washington: Springer Cham, 2022. - 925 p. DOI: 10.1007/978-3-030-34372-9

13. Hartley R. Multiple View Geometry in Computer Vision: 2nd edition / R. Hartley, A. Zisserman. - Cambridge: Cambridge University Press, 2003. - 656 р.

14. Brown M. Automatic Panoramic Image Stitching using Invariant Features / M. Brown, D. Lowe // International Journal of Computer Vision. - 2007. - Vol. 74(1).

- P. 59-73.

15. Faugeras O. Three-Dimensional Computer Vision: A Geometric Viewpoint / O. Faugeras. - London: The MIT Press, 1993. - 663 p.

16. Гусев С.И. Обработка аэрокосмических изображений Земли: учеб. пособие / С.И. Гусев, В.В. Еремеев, А.Е. Кузнецов / под. ред. В.В. Еремеева.

- Москва: КУРС, 2021. - 312 с.

17. Визильтер Ю.В. Обработка и анализ изображений в задачах машинного зрения: курс лекций и практических занятий / Ю.В. Визильтер, С.Ю. Желтов, А.В. Бондаренко, М.В. Ососков, А.В. Моржин. - М.: Физматкнига, 2010. - 672 с.

18. Визильтер Ю.В. Проблемы технического зрения в современных авиационных системах / Ю.В. Визильтер, С.Ю. Желтов // Механика, управление и информатика.

- 2011. - № 6. - С. 11-44.

19. Алпатов Б.А. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление / Б.А. Алпатов, П.В. Бабаян, О.Е. Балашов, А.И. Степашкин. - М.: Радиотехника, 2008. - 176 с.

20. Костяшкин Л.Н. Обработка изображений в авиационных системах технического зрения / Л.Н. Костяшкин, М.Б. Никифоров. - М.: Физматлит, 2016.

- С. 234.

21. Hogervorst M.A. Progress in color night vision / A. Toet, M.A. Hogervorst. - Optical Engineering, 51(1), 2012. DOI:10.1117/1.OE.51.1.010901

22. Blasch E. Multispectral Image Fusion and Colorization / Yu. Zheng, E. Blasch, L. Zheng. - SPIE Press, 2018. - 372 p. DOI:10.1117/3.2316455

23. Electro-Optical Distributed Aperture System [Электронный ресурс] // Raytheon intelligence and space. URL: https://www.raytheonintelligenceandspace.com/what-we-do/air-dominance/eodas (дата обращения: 11.03.2023).

24. Ефремов А. Панорамная фотография. Полноцветное издание / А. Ефремов.

- СПб.: Питер, 2012. - 128 с.

25. Фомин А.В. Фотосъёмка. Общий курс фотографии / А.В. Фомин.

- М.: Легпромбытиздат, 1987. - С.116-136. - 256 с.

26. Шульман М.Я. Фотоаппараты / М.Я. Шульман. - Л.: Машиностроение, 1984. - 142 с.

27. Кирюшин С.И. Глава XXI. Аберрационный расчёт оптических систем. Теория оптических систем / Н.П. Заказнов, С.И. Кирюшин, В.И. Кузичев.

- М.: Машиностроение, 1992. - С. 53-91. - 448 с.

28. Клетте Р. Компьютерное зрение. Теория и алгоритмы / Р. Клетте. - М.: ДМК-Пресс, 2019. - 506 с.

29. Буэно Г. Обработка изображений с помощью OpenCV / Г. Буэно, О. Суарес, А. Эспиноса. - М.: ДМК-Пресс, 2016. - 210 с.

30. Алтухов В.Г. Обзор технологии навигации мобильных роботов omni-directional vslam / В.Г. Алтухов // Сборник научных трудов НГТУ. - 2018.

- № 2(92). - С. 81-92.

31. Кудинов И.А. Панорамная обзорная видеосистема с управлением от нашлемной системы целеуказания и индикации / И.А. Кудинов, А.В. Морозов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Навигация, наведение и управление летательными аппаратами: тез. докл. третьей Всероссийской научно-технической конференции. - М.: Научтехлитиздат, 2017. - С. 144-146.

32. Byrnes J. Unexploded Ordnance Detection and Mitigation. / J. Byrnes. - Dordrecht: Springer, 2008. - 295 p. DOI:10.1007/978-1-4020-9253-4

33. Blum. R.S. Region-based image fusion scheme for concealed weapon detection / Z. Zhang, R.S. Blum // Proceedings of 31st Annual Conference on Information Sciences and Systems. - Baltimore: M.D., 1997. - P. 168-173.

34. Fang L. Pixel-level image fusion: a survey of the state of the art / S. Li, X. Kang, L. Fang, J. Hu, H. Yin. // Inf. Fusion. - 2017. - Vol. 33. - P. 100-112.

35. Li. C. Infrared and visible image fusion methods and applications: a survey / J. Ma, Y. Ma, C. Li // Inf. Fusion. - 2019. - Vol. 45. - P.153-178.

36. Szeliski R. Image Alignment and Stitching: A Tutorial / R. Szeliski // Foundations and Trends in Computer Graphics and Vision. - 2006. - Vol. 2, No 1. - P. 1-104.

37. Buhmann J.M. Probabilistic image registration and anomaly detection by nonlinear warping / V. Kaynig, B. Fischer, J.M. Buhmann // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Anchorage, 2008. - P. 1-8. DOI: 10.1109/CVPR.2008.4587743

38. Gomes P.B. Real time 360° video stitching and streaming / R.M.A. Silva, P.B. Gomes, T. Frensh, D. Monteiro // ACM SIGGRAPH 2016 Posters. - Anaheim, 2016. - P. 1-2. D0I:10.1145/2945078.2945148

39. Peleg S. Mosaicing on adaptive manifolds / S. Peleg, B. Rousso, A. Rav-Acha, A. Zomet // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000.

- 22(10). - P. 1144-1154. DOI: 10.1109/34.879794

40. Levin A. Seamless image stitching in the gradient domain / A. Levin, A. Zomet, S. Peleg, Y. Weiss // Computer Vision-ECCV: Proceedings, Part IV. - Berlin: Springer, 2004. - P. 377-389.

41. Levin A. Seamless image stitching by minimizing false edges / A. Levin, A. Zomet, S. Peleg, Y. Weiss // IEEE Transactions on Image Processing. - 2006. - 15(4). - P. 969977. DOI: 10.1109/TIP.2005.863958

42. Jia J. Eliminating structure and intensity misalignment in image stitching / J. Jia, C.K. Tang // Tenth IEEE International Conference on Computer Vision (ICCV'05).

- Beijing, 2005. - P. 1651-1658. D0I:10.1109/ICCV.2005.87

43. Brown M. Recognizing Panoramas / M. Brown, D.G. Lowe // Proceedings of the IEEE International Conference on Computer Vision. Vol. 2. - Nice, 2003. - P. 12181225. DOI: 10.1109/ICCV.2003.1238630

44. Brown M.S. Constructing image panoramas using dual-homography warping / J Gao, S.J. Kim, M.S. Brown // Proceedings of the IEEE Conference on Computer Vision and

Pattern Recognition. - Colorado Springs, 2011. - P. 49-56. DOI: 10.1109/CVPR.2011.5995433

45. Barrett W.A. Fast focal length solution in partial panoramic image stitching / K.L. Duffin, W.A. Barrett // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Kauai, 2001. P. II-II. D0I:10.1109/CVPR.2001.991031

46. Cheong L.F. Smoothly varying affine stitching / W.Y. Lin, S. Liu, Y. Matsushita, T.T Ng, L.F. Cheong // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Colorado Springs, CO, USA. - 2011, - P. 345-352. D0I:10.1109/CVPR.2011.5995314

47. Brown M.S. As-projective-as-possible image stitching with moving DLT / J. Zaragoza, T.J. Chin, M.S. Brown, D. Suter // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Portland, 2013. - P. 2339-2346. D0I:10.1109/CVPR.2013.303

48. He B. Parallax-Robust Surveillance Video Stitching / B. He, S. Yu. // Sensors.

- 2016. - 16(1). DOI: 10.3390/s16010007

49. Li G. Video stitching for hand-held inputs via combined video stabilization / T. Su, Y. Nie, Z. Zhang, H. Sun, G. Li // SIGGRAPH ASIA 2016 Technical Briefs. - Macao, 2016. - 25. - P 1-4. https://doi.org/10.1145/3005358.3005383

50. Li G. Dynamic Video Stitching via Shakiness Removing / T. Su, Y. Nie, Z. Zhang, H. Sun, G. Li // IEEE Transactions on Image Processing. - 2018. - 27(1). - P. 164-178. DOI: 10.1109/TIP.2017.2736603

51. Gabbouj M. Joint Video Stitching and Stabilization From Moving Cameras / H Guo, S. Liu, T. He, S. Zhu, B. Zeng, M. Gabbouj // IEEE Transactions on Image Processing.

- 2016. - 25(11). - P. 5491-5503. DOI:10.1109/TIP.2016.2607419

52. Lin K. Seamless video stitching from hand-held camera inputs / K. Lin, S. Liu, L.F. Cheong, B. Zeng // Computer Graphics Forum. - 2016. - 35(2). - P. 479-487. DOI: 10.1111/cgf.12848

53. Tan P. Coslam: Collaborative visual slam in dynamic environments / D. Zou, P. Tan // IEEE transactions on Pattern Analysis and Machine Intelligence. - 2013. - 35(2).

- P. 354-366. DOI:10.1109/TPAMI.2012.104

54. Szeliski R. Creating full view panoramic image mosaics and texture-mapped models / R. Szeliski, H.Y. Shum // SIGGRAPH. - Los Angeles, 1997. - P. 251-258.

55. Kim B. Rich360: optimized spherical representation from structured panoramic camera arrays / J. Lee, B. Kim, K. Kim, Y. Kim, J. Noh // ACM Transactions on Graphics (TOG). - 2016. - 35(4). - P. 1-11. DOI: 10.1145/2897824.2925983

56. Aravkin A.Y. Adaptive as-natural-as-possible image stitching / A.Y. Aravkin. C.C. Lin, S.U. Pankanti, K. Natesan Ramamurthy // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Boston, 2015. - P. 1155-1163.

57. Zhang Z. A Flexible New Technique for Camera Calibration / Z. Zhang // IEEE Trans. on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11).

- P. 1330-1334.

58. Cooperstock J. R. Toward dynamic image mosaic generation with robustness to parallax / Q. Zhi, J.R. Cooperstock // IEEE Transactions on Image Processing. - 2012.

- 21(1). - P. 366-378. DOI: 10.1109/TIP.2011.2162743

59. Eden A. Eliminating ghosting and exposure artifacts in image mosaics / M Uyttendaele, A. Eden, R. Skeliski // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Kauai, 2001. DOI:10.1109/CVPR.2001.991005

60. Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography / M.A. Fischler, R.C. Bolles // Communications of the ACM. - 1981. - Vol. 24, No. 6. - P. 381-395.

61. Lu F. Fast Image Diffusion for Feature Detection and Description / F. Lu, W. Zhuangzhi, L. Xiang // International Journal of Computer Theory and Engineering. -2015. - Vol. 8. - No. 1. - P. 58-62.

62. Chang C.H. Shape-preserving half-projective warps for image stitching / C.H. Chang, Y. Sato, Y.Y. Chuang // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Columbus, 2014. - P. 3254-3261.

63. Brown M.S. Seam-Driven Image Stitching / M.S. Brown, T.J. Chin, J. Gao, Y. Li // Proceedings of Euro-Graphics. - Spain, 2013. - P. 45-48.

64. Liu F. Parallax-tolerant image stitching / F. Zhang, F. Liu // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Columbus, 2014. - P. 32623269.

65. Brown M. Multi-spectral SIFT for Scene Category Recognition / M. Brown, S. Susstrunk // Proc. of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. -Washington DC: IEEE Computer Society. - 2011. - P. 177-184.

66. Lowe D.J. Distinctive image features from scale-invariant keypoints / D.J. Lowe // Int. J. Comp. Vis. - 2004. - Vol. 60(2). - P. 91-110.

67. Gorbatsevich V.S. Image shape matching using diffusion morphology and diffusion correlation. / Yu.V. Vizilter, V.S. Gorbatsevich, A.Yu. Rubis, O.V. Vygolov // Computer Optics. - 2015. - Vol. 39(2). - P. 267-274.

68. Efimov A.I. An algorithm for multistage projective transformation adjustment for image superimposition / A.I. Efimov, A.I. Novikov // Computer Optics. - 2016.

- Vol. 40(2). - P. 258-265.

69. Bhosle U. Multispectral panoramic mosaicing / U. Bhosle, S.D. Roy, S. Chaudhuri // Pattern Recognition Letters. - 2005. - Vol. 26. - No. 4. - P. 471-482.

70. Efimov A.I. Software and hardware implementation of geometric correction technology and fusion of images on a mobile platform / A.I. Efimov, D.A. Kolchaev, D.I. Ustukov // Proc. 8th Mediterranean Conf. on Embedded Comp. (MECO 2019).

- 2019. - P. 223-227.

71. Efimov A.I. Image Superimposition Technique in Computer Vision Systems Using Contour Analysis Methods / A.I. Efimov, A.I. Novikov, V.A. Sablina // Proc. of 5th Mediterranean Conference on Embedded Computing (MECO 2016). - Bar, Montenegro.

- 2016. - P. 132-137.

72. Brown M. Minimal solutions for panoramic stitching / M. Brown, R.I. Hartley, D. Nistnr // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Minneapolis, 2007. - P. 1-8. DOI:10.1109/CVPR.2007.383082

73. Ommer B. Deep semantic feature matching / N. Ufer, B. Ommer // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Honolulu, 2017.

- P. 5929-5938. DOI:10.1109/CVPR.2017.628

74. Deng J. ImageNet: A large-scale hierarchical image database / J. Deng, W. Dong, R. Socher, L. Li, L. Kai, F-F. Li // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - Miami, 2009. - P. 248-255. DOI: 10.1109/CVPR.2009.5206848

75. Aberman K. Neural Best-Buddies: Sparse Cross-Domain Correspondence / K. Aberman, J. Liao, M. Shi // ACM Transactions on Graphics (TOG). - 2018. - 37(4).

- 69. DOI:10.1145/3197517.3201332

76. Arandjelovic R. Convolutional neural network architecture for geometric matching / R. Arandjelovic, I. Rocco, J. Sivic // Proceedings of the IEEE Conference on Computer

Vision and Pattern Recognition. - Honolulu, 2017. - P. 39-48. DOI:10.1109/CVPR.2017.12

77. Jeon S. PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence Estimation / S. Jeon, S. Kim, D. Min, K. Sohn // Proceedings of European Conference on Computer Vision. - Munich, 2018. - P. 355-371. DOI:10.1007/978-3-030-01231-1_22

78. Cao M. MR Video Fusion: Interactive 3D Modeling and Stitching on Wide-baseline Videos / M. Cao, M. Meng, Y.Zhou, J. You, Y. Wang, Z. Zhou // ACM Symposium on Virtual Reality Software and Technology. - Tokyo: ACM, 2018. - P. 1-11. DOI: 10.1145/3281505.3281513

79. Муратов Е.Р. Построение виртуальной модели местности с помощью системы стереозрения / Е.Р. Муратов // Техническое зрение в системах управления-2015: тез. докл. - М.: ИКИ РАН, 2015. - С. 64-65.

80. Li N. Quasi-homography warps in image stitching / N. Li, Y. Xu, C. Wang // IEEE Transactions on Multimedia. - 2018. - 20(6): - P. 1365-1375. DOI:10.1109/TMM.2017.2771566

81. Bowen R.S. Object-Centered Image Stitching / C. Herrmann, C. Wang, R.S. Bowen, E. Keyder, R. Zabih // Computer Vision - ECCV 2018. - Springer International Publishing, 2018. - P. 846-861. DOI:10.1007/978-3-030-01219-9_50

82. Chen Y.S. Natural Image Stitching with the Global Similarity Prior / Y.S. Chen, Y.Y. Chuang // Computer Vision - ECCV 2016. - Cham: Springer International Publishing, 2016. - P. 186-201. DOI:10.1007/978-3-319-46454-1_12

83. Bao H. Multi-Viewpoint Panorama Construction With Wide-Baseline Images / H. Bao, W. Chen, Y. He, G. Zhang, J. Jia // IEEE Transactions on Image Processing.

- 2016. - 25(7). - P. 3099-3111. DOI:10.1109/TIP.2016.2535225

84. Bai X. Image stitching by line-guided local warping with global similarity constraint. / X. Bai, T.Z. Xiang, G.S. Xia, L. Zhang // Pattern Recognition. - 2018. - 83. - P. 481497. DOI:10.1016/j.patcog.2018.06.013

85. Lischinski D. Dynamosaics: video mosaics with non-chronological time / D. Lischinski. Y. Pritch, S Peleg, A. Rav-Acha // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - San Diego, 2005.

- P. 58-65. DOI: 10.1109/CVPR.2005.137

86. Gu J. Video stitching with spatial-temporal content-preserving warping / J. Gu, W. Jiang, // 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. - 2015. - P. 42-48. D01:10.1109/CVPRW.2015.7301374

87. Bobick A.F. Graphcut textures: image and video synthesis using graph cuts / A.F. Bobick, I.A. Essa, V. Kwatra, A. Schqdl, G. Turk // ACM Transactions on Graphics (ToG). - 2003. - 22(3). - P. 277-286. DOI: 10.1145/1201775.882264

88. Heung-Yeung S. Full-frame video stabilization with motion inpainting / S. Heung-Yeung, Y. Matsushita, E. Ofek, G. Weina, T. Xiaoou // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2006. - 28(7). - P. 1150-1163. D0I:10.1109/TPAMI.2006.141

89. Liu S. Bundled camera paths for video stabilization / S. Liu, L. Yuan, P. Tan, J. Sun // ACM Trans. Graph. 2013. - 32(4). - P. 1-10. D0I:10.1145/2461912.2461995

90. Agarwala A. Content-preserving warps for 3D video stabilization / A. Agarwala, F. Liu, M. Gleicher, H. Jin // ACM SIGGRAPH. - 2009. - P. 1-9. DOI: 10.1145/1576246.1531350

91. Shum H.Y. Construction and refinement of panoramic mosaics with global and local alignment / H.Y. Shum, R. Szeliski // Proceedings of the IEEE International Conference on Computer Vision. - Bombay, 1998. - P. 953-956. D0I:10.1109/ICCV.1998.710831

92. Pal C. Efficiently registering video into panoramic mosaics / C. Pal, D. Steedly // Proceedings of the IEEE International Conference on Computer Vision. - Beijing, 2005. - 2. - P. 1300-1307. DOI: 10.1109/ICCV.2005.86

93. Chang H. Rectangling panoramic images via warping / H Chang, K He, J Sun // ACM Transactions on Graphics. - 2013. - 32(4). - P. 1-10. DOI:10.1145/2461912.2462004

94. Avidan S. Seam carving for content-aware image resizing / S. Avidan, A. Shamir // ACM Transactions on Graphics, 2007. - 26(3). - P. 10. DOI: 10.1145/1276377.1276390

95. Galil Z. Efficient algorithms for finding maximal matching in graphs / Z. Galil // Colloquium on Trees in Algebra and Programming. - Berlin, Heidelberg: Springer Berlin Heidelberg, 1983. - P. 90-113.

96. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera: пат. 204287725 Китай: МПК G03B 43/00, G01J 5/52 / D. Ming, W. Zhang, H. Zhong, H. Qi, S. Di, C. Yongfei, J. Xudong, C. Guojun, L. Fengyang, H. Ting, W. Hui; заявитель и патентообладатель State Grid Corporation, Zhengzhou Zhongchuang Huida Electric Co. Ltd., State Grid Henan Electric Power Company

Zhengzhou Power Supply Company. - №201420686430,9; - заявл. 17.11.2014; опубл. 22.04.2015.

97. Novel parameter combined calibration board for visible light camera and infrared thermal imager camera: пат. 204301863 Китай: МПК G01J 5/00, G01M 11/00 / J.X. Zhang, W. Zhong, H. Qi, S. Di, C. Yongfei, D. Ming, C. Guojun, L. Fengyang, W. Jian, H. Ting, W. Hui; заявитель и патентообладатель State Grid Corporation Of China, Zhengzhou Aps Technology Co. Ltd., Zhengzhou Power Supply Company Of State, Grid Hanan Electric Power Company. - №201420686148.0; - заявл. 17.11.2014; опубл. 29.04.2015.

98. Thermal camera calibration: пат. 20120069193A1 Соединенные Штаты Америки: МПК H04N 5/33, H04N 17/00 / D. Ramegowda, M.I. Mohideen, L.R. Boregowda, B. Sai, V.G. Venkoparao; заявитель и патентообладатель Honeywell International Inc.

- №12883568; - заявл. 16.09.2010; опубл. 22.04.2018.

99. St-Laurent L. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images / L. St-Laurent, M. Mikhnevich, A. Bubel, D. Prevost // Quantitative InfraRed Thermography Journal. - 2017. - Vol. 14(2). - P. 193-205.

100. Chen Y. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera / Y. Chen, F.-y. Huang, F.-m. Shi, B.-q. Liu // Applied Optics. - 2019. -Vol. 58(4). - P. 744.

101. Zoetgnande Y.W.K. Robust low-resolution thermal stereo camera calibration / Y.W.K. Zoetgnande, A.-J. Fougeres, G. Cormier, J.L. Dillenseger: Proc. of 11th Int. Conf. on Machine Vision. - Munich, 2018. - P. 110411D.

102. Boehm J. Close-Range Photogrammetry and 3D Imaging / T. Luhmann, S. Robson, S. Kyle, J. Boehm - Berlin: DeGruyter, 2013. - 702 p.

103. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения: пат. 2672466 Рос. Федерация: МПК G06T 7/80 / И.А. Кудинов, О.В. Павлов, И.С. Холопов; заявитель и патентообладатель АО "Государственный Рязанский приборный завод". - №2017145444;

- заявл. 22.12.2017; опубл. 14.11.2018, Бюл. № 32.

104. Способ совмещения цифровых изображений различных спектральных диапазонов: пат. 2684749 Рос. Федерация: МПК G06K 9/32, G06T 7/80 / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов; заявитель и патентообладатель

АО "Государственный Рязанский приборный завод". - №2018118901;

- заявл. 22.05.2018; опубл. 12.04.2019, Бюл. № 11.

105. Кудинов И.А. Тест-объект для фотограмметрической калибровки разноспектральных камер систем технического зрения / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов// Техническое зрение в системах управления - 2019: тез. докл. - М.: ИКИ РАН, 2019. - С. 46-47.

106. Кудинов И.А. Тест-объекты для калибровки камер авиационных систем технического зрения / И.А. Кудинов, М.Ю. Храмов// VI научно-практическая конференция молодых учёных и специалистов АО «ГРПЗ»: сборник научных статей.

- Рязань: РРОО ССАМ «Созвездие», 2019. - С. 4-17.

107. Kudinov I.A. Calibration based visible and infrared image superimposition for fusion task / I.A. Kudinov, E.R. Muratov, M.B. Nikiforov, I.S. Kholopov // MECO'2019: Proc. of 8th Mediterranean Conference on Embedded Computing, Including ECYPS. - Budva, 2019.

- P. 315-320.

108. Кудинов И.А. Калибровка видеокамер многоспектральной системы технического зрения с помощью универсального тест-объекта / И.А. Кудинов // Современные технологии в науке и образовании (СТН0-2020): сборник трудов III международного научно-технического форума. - Рязань: Рязан. гос. радиотехн. унт, 2020. - Т. 5. - С. 219-222.

109. Тест-объект для калибровки видеодатчиков многоспектральной системы технического зрения: пат. 2670776 Рос. Федерация: МПК G06T 7/80 / И.А. Кудинов, О.В. Павлов, И.С. Холопов; заявитель и патентообладатель АО "Государственный Рязанский приборный завод". - №2017143082;

- заявл. 08.12.2017; опубл. 25.10.2018, Бюл. № 30.

110. Кудинов И.А. Разработка тест-объектов для калибровки камер систем технического зрения / И.А. Кудинов // Современные технологии в науке и образовании (СТНО-2019): сборник трудов II международного научно-технического форума. Т. 5. - Рязань: Рязан. гос. радиотехн. ун-т, 2019. - С. 172-177.

111. Ефимов А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. - 2016. - Т. 40. - № 2. - С. 258-265.

112. Лазарева Н.С. Калибровка неметрических малоформатных камер с целью применения их для решения некоторых задач фотограмметрии / Н.С. Лазарева // Фотограмметрия и дистанционное зондирование. - 2011. - № 1. - С. 80-91.

113. Кудинов И.А. Алгоритм двухэтапной калибровки камер с малыми угловыми размерами пересечения полей зрения / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Вестник Рязанского государственного радиотехнического университета. - 2020. - № 74. - С. 99-107.

114. Тест-объект для одновременной калибровки телевизионной и инфракрасной видеокамер с различными полями зрения: пат. 2719429 Рос. Федерация: МПК G06T 7/80 / И.А. Кудинов, И.С. Холопов; заявитель и патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет". - №2019118366; - заявл. 13.06.2019; опубл. 17.04.2020, Бюл. № 11.

115. Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения: пат. 2722412 Рос. Федерация: / МПК G01M 11/02, G06T 7/80 / И.А. Кудинов, И.С. Холопов; заявитель и патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина". - № 2019129996; - заявл. 23.09.2019; опубл. 29.05.2020, Бюл. № 16.

116. Кудинов И.А. Калибровка камер и вспомогательных датчиков для разноспектральной панорамной обзорной оптико-электронной системы с распределённой апертурой / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Информационные технологии и нанотехнологии (ИТНТ-2019): сборник трудов V международной конференции и молодежной школы. - Самара: Новая техника, 2019. - С. 563-574.

117. Tsai R.Y. A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses // IEEE Journal on Robotics and Automation. - 1987. - Vol. 3, No. 4. - P. 323-344.

118. Способ калибровки видеограмметрических систем и контрольное приспособление для его осуществления: пат. 2645432 Рос. Федерация: МПК G01C 11/00 / В.П. Кулеш; заявитель и патентообладатель Российская Федерация, от имени которой выступает Министерство промышленности и торговли Российской

Федерации (Минпромторг России). - №2016147717; - заявл. 06.12.2016; опубл. 21.02.2018, Бюл. № 6.

119. Ikeda S. A calibration method for an omnidirectional multicamera system / S. Ikeda, T. Sato, N. Yokoya // Stereoscopic Displays and Virtual Reality Systems X: Proc. of SPIE. - 2003. -Vol. 5006. - P. 1-9.

120. Виро О.Я. Конфигурации скрещивающихся прямых / О.Я. Виро, Ю.В. Дроботухина // Алгебра и анализ. - 1989. - Т. 1. - Вып. 4. - С. 222-246.

121. Кудинов И.А. Формирование видеопанорамы по информации от разноспектральных камер / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Информационные технологии и нанотехнологии (ИТНТ-2018): сборник трудов IV международной конференции и молодежной школы. - Самара: Предприятие «Новая техника», 2018. - С. 568-575.

122. Лукьянов А.Д. Идентификация параметров преобразующей системы MEMS -акселерометра ADXL-345 методом наименьших квадратов / А.Д. Лукьянов, К.И. Горянина, Д.Т. Фам // Электроника и электротехника. - 2016. - № 2. - С. 3845. DOI: 10.7256/2453-8884.2016.2.21242

123. Hung J.C. Calibration of accelerometer triad of an IMU with drifting Z -accelerometer bias / J.C. Hung, J.R. Thacher, H.V. White // Proc. of the IEEE National Aerospace and Electronics Conference. Vol. 1. - Dayton, 1989. - P. 153-158. DOI: 10.1109/NAECON.1989.40206

124. Попова И.В. Термостатирование микромеханических инерциальных датчиков / И.В. Попова, Н.В. Моисеев, Я.А. Некрасов, А.А. Семенов // Нано- и микросистемная техника. - 2001. - № 5. - С. 22-24.

125. Шаврин В.В. Калибровка микроэлектромеханических датчиков ускорений и угловых скоростей в бесплатформенных инерциальных навигационных системах / В.В. Шаврин, А.С. Конаков, В.И. Тисленко // Доклады ТУСУРа. - 2012. - № 1(25). - Ч. 2. - С. 265-269.

126. Bekkeng J.K. Calibration of a novel MEMS inertial reference unit / J.K. Bekkeng // IEEE Trans. on Instrumentation and Measurement. - 2009. - Vol. 58, Is. 6. - P. 19671974. DOI: 10.1109/TIM.2008.2006126

127. Allan D.W. Statistics of Atomic Frequency Standards / D.W. Allan // Proceedings of the IEEE. - 1966. - Vol. 54, No 2. - P. 221-230. DOI: 10.1109/PROC.1966.4634

128. Белокуров В.А. Применение автоковариационного метода наименьших квадратов в инвариантной схеме угловой ориентации / В.А. Белокуров // Вестник Рязанского государственного радиотехнического университета. - 2018. - № 64. -С. 9-16.

129. Mahony R. Complementary filter design on the special orthogonal group SO (3) / R. Mahony, T. Hamel, J.-M. Pflimlin // Proc. of the IEEE Conference on Decision and Control (CDC'05). - Seville, 2005. - P. 1477-1484. DOI: 10.1109/CDC.2005.1582367

130. Brown D. Close-range camera calibration / D. Brown // Photogrammetric Engineering. - 1971. - Vol. 37, No 8. - P. 855-866.

131. Устройство для автоматизированной калибровки видеокамер различных спектральных диапазонов: пат. 2749363 Рос. Федерация: МПК G06T 7/80 / И.А. Кудинов, И.С. Холопов; заявитель и патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина". -№2020125371; - заявл. 22.07.2020; опубл. 09.06.2021, Бюл. № 16.

132. Способ калибровки видеодатчиков многоспектральной системы технического зрения: пат. 2692970 Рос. Федерация: МПК G06T 7/80, G06K 9/32, G01M 11/02 / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов; заявитель и патентообладатель АО "Государственный Рязанский приборный завод". - №2017124310; - заявл. 07.07.2017; опубл. 28.06.2019, Бюл. № 19.

133. Spherical Projections [Электронный ресурс] // Miscellaneous transformations and projections. Spherical Projections (Stereographic and Cylindrical). URL: http://paulbourke.net/geometry/transformationprojection (дата обращения: 11.03.2023).

134. Кудинов И.А. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Информационные технологии и нанотехнологии ИТНТ-2017: сборник трудов III международной конференции и молодежной школы. - Самара: Предприятие «Новая техника», 2017. - С. 1580-1586.

135. Kudinov I.A. Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019. - Vol. 1368. - P. 1-11.

136. Калинкин А.И. Калибровка трехосного mems-акселерометра для прикладных задач фотограмметрии и совмещения изображений / А.И. Калинкин,

Т.С. Кислицына, И.А. Кудинов, И.А. Лютков, И.С. Холопов // Вестник Рязанского государственного радиотехнического университета. - 2020. - № 73. - С. 37-51.

137. Челноков Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. - М.: ФИЗМАТЛИТ, 2006. - 512 с.

138. Kuipers J.B. Quaternions and rotation sequences / J.B. Kuipers. - New Jersey: Princeton University, 1998. - 400 p.

139. Rendering and navigating photographic panoramas with depth information in a geographic information system: пат. 08681151 Соединенные Штаты Америки: МПК G06T17/00, G06T17/20, G06T19/00 / G. Coombe, D. Barcay, G. Varadhan, F. Bailly; заявитель и патентообладатель Coombe Greg, Google Inc., Barcay Daniel, Varadhan Gokul, Bailly Francois - №20120299920; - заявл. 22.11.2011; опубл. 25.03.2014.

140. Муратов Е.Р. Вычисление дальности до точек лазерного подсвета на изображениях / Е.Р. Муратов, М.Б. Никифоров, Д.И. Устюков // Динамика сложных систем - XXI век. - 2016. - № 2. - С. 39-43.

141. Geiger A. Automatic Camera and Range Sensor Calibration using a Single Shot / A. Geiger, F. Moosmann, O. Car, B. Schuster // Proc. of IEEE International Conference on Robotics and Automation (ICRA'2012). - Saint Paul, 2012. - P. 3936-3943. D0I:10.1109/ICRA.2012.6224570

142. Pandey G. Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera / G. Pandey, J. McBride, S. Savarese, R. Eustice // IFAC Proceedings. - 2010. -Vol. 2010(43). -P. 336-341. D0I:10.3182/20100906-3-IT-2019.00059

143. Mirzaei F.M. 3D LIDAR-camera intrinsic and extrinsic calibration: Identifiability and analytical least-squares-based initialization / F.M. Mirzaei, D.G. Kottas, S.I. Roumeliotis // The International Journal of Robotics Research. - 2012. - Vol. 31(4). P. 452-467. DOI: 10.1177/0278364911435689

144. Кудинов И.А. Алгоритм формирования панорамного изображения от нескольких камер с перекрывающимися полями зрения и его программная реализация / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Техническое зрение в системах управления-2016: тез. докл. - М.: ИКИ РАН, 2016. - С. 56.

145. Chen Y.-S. Bird's-eye view vision system for vehicle surrounding monitoring / Y.-C. Liu, K.-Y. Lin, Y.-S. Chen // RobVis 2008: Proc. of 2nd Int. Workshop on Robot Vision. - Auckland, 2008. - P. 207-218.

146. Lin C.-C. A vision based top-view transformation model for a vehicle parking assistant / C.-C. Lin, M.-S. Wang // Sensors. - 2012. - Vol. 12. - No. 4. - P. 4431-4446.

147. Hou Y. A new lane line segmentation and detection method based on inverse perspective mapping / Y. Hou, M. Li., M. Ren, C. Zhao. // Int. J. of digital content technology and its applications. - Vol. 5. - 2011. - No. 4. - P. 230-236.

148. Liu J.-H. Automatic correction of geometric distortion in aerial zoom squint imaging / J.-H. Liu, M.-C. Sun, X. Wang, Q.-F. Zhou // Optics and precision engineering. Vol. 23.

- 2015. - No. 10. - P. 2927-2942.

149. Laganiere R. Compositing a bird's eye view mosaic / R. Laganiere // Vision Interface'2000: Proc. of 13th Canadian Conf. on Vision Interface. - Montreal, 2000.

- P. 382-387.

150. Холопов И. С. Алгоритм коррекции проективных искажений при маловысотной съёмке / И.С. Холопов // Компьютерная оптика. - 2017. - Т. 41. -№ 2. - С. 284-290.

151. Грузман И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор // Новосибирск: Изд-во НГТУ, 2002. - 352 с.

152. Akenine-Moller T. Real-timerendering / T. Akenine-Moller, E. Haines, N. Hoffman // Wellesley: A.K. Peters, 2008. - 1045 p.

153. Белокуров В.А. Система угловой ориентации на основе гауссовского парциального фильтра / В.А. Белокуров // Вестник Рязанского государственного радиотехнического университета. - 2016. - № 56. - С. 11-16.

154. Канаева И.А. Методы коррекции цвета и яркости при создании панорамных изображений / Ю.А. Болотова, И.А. Канаева // Компьютерная оптика. - 2018.

- Т.42. - №5. - С. 885-897.

155. Бондаренко А.В. Аппаратно-программная реализация мультиспектральной системы улучшенного видения / А.В. Бондаренко, М.А. Бондаренко // Современная электроника. - 2017. - № 1. - С. 32-37.

156. Ефимов А.И. Обработка изображений в многоспектральных системах технического зрения / А.И. Ефимов, Л.Н. Костяшкин, А.А. Логинов, Е.Р. Муратов,

М.Б. Никифоров, А.И. Новиков // Вестник Рязанского государственного радиотехнического университета. - 2017. - № 60. - С. 83-92.

157. Бондаренко А.В. Формирование изображений в мультиспектральных видеосистемах для визуального и автоматического неразрушающего контроля /

A.В. Бондаренко, М.А. Бондаренко // Успехи прикладной физики. - 2018. - Т. 6.

- № 4. - C. 325-332.

158. Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов: пат. 2764838 Рос. Федерация: МПК G06T 3/00, G06T 5/50 / И.А. Кудинов, И.С. Холопов; заявитель и патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени

B.Ф. Уткина". -№2021107949; - заявл. 24.03.2021; опубл. 21.01.2022, Бюл. № 3.

159. Efimov A.I. Digital Multispectral Images Superimposition Based on Preliminary Calibrationor Contour Analysis: Advantages and Disadvantages / A.I. Efimov, I.A. Kudinov, O.V. Melnik, M.B. Nikiforov, I.S. Kholopov // ELEKTR0'2020: Proc. of 13 th International conference. - Taormina, 2020. - P. 1-6.

160. Chum O. Optimal randomized RANSAC / O. Chum, J. Matas // IEEE Transactions on Pattern Analysis and Machine Intelligence. - Vol. 30. - №8. - P. 1472-1482.

161. Mackay D.M. Psychophysics of perceived intensity: A theoretical basis for Fechner's and Stevens' laws / D.M. Mackay // Science: journal. - 1963. - Vol.139. - P. 1213-1216.

162. Кудинов И.А. Повышение быстродействия алгоритма формирования панорамного видеоизображения в оптико-электронных системах с распределенной апертурой / И.А. Кудинов, И.С. Холопов // Цифровая обработка сигналов. - 2019.

- № 3. - С. 27-32.

163. Красильников Н.Н. Цифровая обработка 2D- и 3D-изображений: учеб. пособие / Н.Н. Красильников. - СПб.: БХВ-Петербург, 2011. - 608 с.

164. Kenyon R.V. Comparison of interpolating methods for image resampling / R.V. Kenyon, J.A. Parker, D.E. Troxel // IEEE Trans. on Medical Imaging. - Vol. 2(1).

- 1983. - P. 31-39.

165. Li J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. - Vol. 43(1). - 2019.

- P. 99-104.

166. Гераськин А. С. Исследование возможности улучшения алгоритма билинейной интерполяции для корректировки цифровых изображений применением теории полей ориентации / Н.Е. Тимофеева, А.С. Гераськин // Вестник ВГУ. Серия: системный анализ и информационные технологии. - 2018.

- №1. - С. 119-125.

167. Adelson E. A multiresolution spline with application to image mosaics / E. Adelson, P. Burt // ACM Transactions on Graphics. - Vol. 2(4). - 1983.

- P. 217-236.

168. Kudinov I.A. The algorithm for a video panorama construction and its software implementation using CUDA technology / I.A. Kudinov, O.V. Pavlov, I.S. Kholopov, M.Yu. Khramov // CEUR Workshop Proceedings. - 2017. - Vol. 1902. - P. 37-42.

169. Муратов Е.Р. Алгоритм выравнивания освещённости объектов на изображениях с поточным выполнением / Е.Р. Муратов, Д.И. Устюков // Техническое зрение в системах управления - 2017: тезисы докладов.

- М.: ИКИРАН, 2017. - С. 2931.

170. Lukin A. Tips & Tricks: Fast Image Filtering Algorithms / A. Lukin // GraphiCon: Proc. of GraphiCon'2007 Russia conference. - 2007. - P. 186-189.

171. Jarosz W. Fast Image Convolutions [Электронный ресурс] // ACM SIGGRAPH. URL: http://elynxsdk.free.fr/ext-docs/Blur/Fast_box_blur.pdf (дата обращения: 11.03.2023).

172. Pratt W.K. Digital image processing: 4th ed. / W.K. Pratt. - New Jersey: John Wiley & Sons, 2007. - 807 p.

173. Efficiently implementing dilate and erode image functions [Электронный ресурс] // Stephen Ostermiller's Blog. URL: https://blog.ostermiller.org/dilate-and-erode (дата обращения: 11.03.2023).

174. Minkowski H. Geometrie der zahlen / H. Minkowski // Leipzig und Berlin: Druck und Verlag von B.G. Teubner, 1910. - 256 p.

175. Krause E.F. Taxicab geometry: an adventure in non-euclidean geometry / E.F Krause. - NewYork: DoverPublications, 2012. - 96 p.

176. Кудинов И.А. Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем / И.А. Кудинов, И.С. Холопов, М.Ю. Храмов // Труды МАИ. - 2019. - № 104. - С. 120.

177. Кудинов И.А. Технология формирования разноспектральной видеопанорамы / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Радиотехника. - 2019. - № 5(6).

- С. 198-204.

178. Кудинов И.А. Алгоритм формирования панорамного видеоизображения по информации от разноспектральных камер с реализацией параллельных вычислений / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Техническое зрение. - 2018. - Вып. 1(12). - С. 31-37.

179. Грузевич Ю.К. Оптико-электронные приборы ночного видения / Ю.К. Грузевич. - М.: Физматлит, 2014. - 276 с.

180. Borovytsky V.N. Residual error after non-uniformity correction / V.N. Borovytsky // Semiconductor Physics, quantum electronics & optoelectronics. - 2000. - Vol. 3.

- No. 1. - P. 102-105.

181. Dereniak E.L. Linear theory of nonuniformity correction in infrared staring sensors / D.L. Perry, E.L. Dereniak // Opt. eng. - 1993. - Vol. 32. - P. 1854-1859.

182. Narendra P. Reference-free nonuniformity compensation for IR imaging arrays / P. Narendra // Proc. SPIE. - 1980. - Vol. 252. - P. 10-17.

183. Hardie R. Scene-based nonuniformity correction with video sequences and registration / R. Hardie, M. Hayat, E. Armstrong, B. Yasuda // Appl. Opt. - 2000. - Vol. 39(8). - P. 1241-1250. DOI:10.1364/AO.39.001241.

184. Zuo C. Improved interframe registration based nonuniformity correction for focal plane arrays / C. Zuo, Q. Chen, G. Gu, X. Sui, J. Ren // Infrared Phys. Technol. - 2012.

- Vol. 55(4). - P. 263-269. DOI:10.1016/j.infrared.2012.04.002

185. Cao Y. Effective strip noise removal for low-textured infrared images based on 1-D guided filtering / Y. Cao, M.Y. Yang, C.-L. Tisse // IEEE Trans. Circuits Syst. Video Technol. - 2016. - Vol. 26. - P. 2176-2188. DOI:10.1109/TCSVT.2015.2493443

186. Cao Y. Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics / Y. Cao, Z. He, J. Yang, M.Y. Yang // IEEE Photonics Journal. - 2017. - Vol. 9(5). - P. 1-13. DOI:10.1109/JPHOT.2017.2752000

187. Liu C. FPN estimation based nonuniformity correction for infrared imaging system / C. Liu, X. Sui, Y. Liu, X. Kuang, G. Gu, Q. Chen // Infrared Physics and Technology.

- 2019. - Vol. 96. - P. 22-29. DOI:10.1016/j.infrared.2018.09.025

188. He B. Staircase-scene-based nonuniformity correction in aerial point target detection systems / L. Huo, D. Zhou, D. Wang, R. Liu, and B. He // Appl. Opt.

- Vol. 55 - P. 7149-7156. - 2016.

189. Liang K. Nonuniformity correction based on focal plane array temperature in uncooled longwave infrared cameras without a shutter / K. Liang, C. Yang, L. Peng, B. Zhou // Appl. Opt. - 2017. - Vol. 56. - P. 884-889. DOI:10.1364/AO.56.000884

190. Способ компенсации неоднородности сигнала фоточувствительных элементов многоэлементного фотоприемника: пат. 2449491 Рос. Федерация: МПК H04N 5/33 (2006.01), G02B 23/12 / И.И. Кремис; заявитель и патентообладатель Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН). - № 2010147160/28;

- заявл. 18.11.2010; опубл. 27.04.2012, Бюл. № 12.

191. He K. Guided image filtering / K. He, J. Sun, X. Tang // IEEE Trans. on pattern analysis and machine intelligence. - 2013. - Vol. 35(6). - P. 1397-1409. DOI: 10.1109/TPAMI.2012.213

192. Гаврилов Д.А. Аппаратная реализация сжатия динамического диапазона цифровых изображений на ПЛИС Xilinx / Д. А Гаврилов, А.В. Павлов, Д.Н. Щелкунов // Журнал радиоэлектроники. - 2018. - № 10. - С. 1-21. DOI:10.30898/1684-1719.2018.10.6

193. Buades A. A non-local algorithm for image denoising / A. Buades, B. Coll, J.-M. Morel // IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit. - 2005. - Vol. 2.

- P. 60-65. DOI:10.1109/CVPR.2005.38

194. Scene based non-uniformity correction systems and methods: пат. 08503821 Соединенные Штаты Америки: МПК G06K9/40 / N. Hogasten; заявитель и патентообладатель Flir Systems, Inc. - №20120320217; - заявл. 20.06.2012; опубл. 06.08.2013.

195. Kudinov I.A. Scene-based Non-uniformity Fixed Pattern Noise Correction Algorithm for Infrared Video Sequences / I.A. Kudinov, I.S. Kholopov // CEUR Workshop Proceedings. - 2020. - Vol. 2665. - P. 135-140.

196. Способ компенсации геометрического шума инфракрасных изображений: пат. 2688616 Рос. Федерация: МПК G06T 5/50, H04N 5/33 / И.А. Кудинов, О.В. Павлов, И.С. Холопов; заявитель и патентообладатель АО "Государственный Рязанский приборный завод". - №2018118899; - заявл. 22.05.2018; опубл. 21.05.2019, Бюл. № 15.

197. Кудинов И.А. Алгоритм компенсации геометрического шума изображений коротковолнового инфракрасного диапазона, формируемых фотоприемниками матричного типа / И.А. Кудинов, И.С. Холопов // Информационные технологии и нанотехнологии (ИТНТ-2020): сборник трудов по материалам VI Международной конференции и молодежной школы / под ред. В.В. Мясникова. - Том 2. - Самара: Самарский национальный исследовательский университет имени академика С.П. Королева, 2020. - С. 643-651.

198. Способ компенсации геометрического шума в видеопоследовательностях инфракрасных изображений, основанный на анализе наблюдаемой сцены: пат. 2744483 Рос. Федерация: МПК G06T 5/50, H04N 5/357, G06K 9/40 / И.А. Кудинов, И.С. Холопов; заявитель и патентообладатель Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина". -№2020122030; - заявл. 29.06.2020; опубл. 10.03.2021, Бюл. № 7.

199. Kudinov I.A. Rows Permutation Based Non-uniformity Correction Algorithm for Video Sequences / I.A. Kudinov, I.S. Kholopov // MEC0'2021: Proc. of 10th Mediterranean Conference on Embedded Computing. - Budva, 2021. - P. 1-4.

200. Новиков А.И. Метод оценки уровня шума цифрового изображения / А.И. Новиков, А.В. Пронькин // Компьютерная оптика. - 2021. - Т. 45. - № 5.

- С. 713-720. DOI: 10.18287/2412-6179-CO-894

201. Лапшенков Е.М. Неэталонная оценка уровня шума цифрового изображения на основе гармонического анализа / Е.М. Лапшенков // Компьютерная оптика.

- 2012. - Т. 36, № 3. - С. 439-447.

202. Sychev A.S. Comparative analysis of image noise estimation methods / A.S. Sychev, I.S. Kholopov // Proceedings of ITNT. - 2021. DOI 10.1109/ITNT52450.2021.9649150

203. Кудинов И.А. Устройство формирования сферической видеопанорамы с реализацией вычислений на видеокарте NVIDIA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Техническое зрение в системах управления-2017: тез. докл. - М.: ИКИ РАН, 2017. - С. 19-20.

204. Кудинов И.А. Формирование панорамного видеоизображения по информации от разноспектральных камер с реализацией параллельных вычислений /

И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов // Техническое зрение в системах управления-2018: тез. докл. - М.: ИКИ РАН, 2018. - С. 75-76.

205. Кудинов И.А. Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Компьютерная оптика. - 2021. - Т. 45, № 4. - С. 589-599. DOI 10.18287/2412-6179-CO-846

206. Кудинов И.А. Сравнительный анализ двух стратегий формирования панорамного видеоизображения / И.А. Кудинов, М.Б. Никифоров, И.С. Холопов // Информационные технологии и нанотехнологии (ИТНТ-2021): сборник трудов по материалам VII Международной конференции и молодежной школы. / под ред. В.В. Мясникова. - Том 2. - Самара: Самарский национальный исследовательский университет имени академика С.П. Королева, 2021. - С. 21312.

207. Кудинов И.А. Выбор стратегии формирования панорамного видеоизображения в зависимости от количества персональных областей интереса пользователей / И.А. Кудинов, М.Б. Никифоров // Новые информационные технологии в научных исследованиях: материалы XXVI Всероссийской научно-технической конференции студентов, молодых ученых и специалистов. - Рязань: Рязан. гос. радиотехн. ун-т, 2021. - С. 210-211.

208. Kudinov I.A. Real-time multispectral video panorama construction / I.A. Kudinov, O.V. Pavlov, I.S. Kholopov, M.Yu. Khramov // CEUR Workshop Proceedings. - 2018.

- Vol. 2210. - P. 1-5.

209. Костяшкин Л.Н. Нашлемные системы целеуказания и индикации для самолетов и вертолетов / Л.Н. Костяшкин, О.В. Павлов // Обозрение армии и флота.

- 2015. - №2. - С. 64-66.

210. Moreland K. Diverging Color Maps for Scientific Visualization (Expanded) / K. Moreland // Proc. of 5th Inter-national Symposium of Advances in Visual Computing (ISVC-2009). Part II. - Las Vegas, 2009. - P. 92-103.

211. Кудинов И.А. Макет видеопанорамы из 5 камер и тепловизора [Электронный ресурс] // YouTube. URL: https://www.youtube.com/watch?v=HHdj0JcKpI8 (дата обращения: 11.03.2023).

212. Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений: пат. 2451338 Рос. Федерация: МПК G06T5/00 /

А.П. Богданов, Л.Н. Костяшкин, А.В. Морозов, О.В. Павлов, Ю.Н. Романов, А.В. Рязанов; заявитель и патентообладатель Открытое акционерное общество "Государственный Рязанский приборный завод" (ОАО "ГРПЗ"). - №2010152858/08; - заявл. 23.12.2010; опубл. 20.05.2012, Бюл. №14. 213. Богданов А.П. Алгоритмы комплексирования в ложных цветах и акцентирование цветом при объединении информации от монохромных многоспектральных видеодатчиков систем технического зрения / А.П. Богданов, О.В. Павлов, И.С. Холопов // Техническое зрение. - 2013. - Вып. 3. - С. 49-54.

ПРИЛОЖЕНИЕ А

КОПИИ ПАТЕНТОВ

ПРИЛОЖЕНИЕ Б

КОПИИ АКТОВ ВНЕДРЕНИЯ

«УТВЕРЖДАЮ» Заместитель генерального директора по НИОКР и техническому

директор

сопровождению изделий -^ВЛТ 2Д0 АО «РИФ»

АКТ ВНЕДРЕНИЯ

результатов кандидатской диссертационной работы Кудинова Игоря Алексеевича, ФГБОУ ВО "Рязанский государственный радиотехнический университет имени

В.Ф. Уткина" (РГРТУ)

Комиссия в составе: Костяшкина Л.Н., главного специалиста АО «РИФ», кандидата технических наук, доцента;

Юкина С.А., ведущего научного сотрудника, кандидата технических наук рассмотрев представленные материалы, составила настоящий акт о том, что теоретические и практические результаты исследований в области цифровой обработки изображений Кудинова Игоря Алексеевича, используются в АО «РИФ» в автоматизированном рабочем месте для калибровки разноспектральных камер по универсальным тест-объектам и нашли применение для исправления дисторсии изображений, полученных с камер телевизионного и инфракрасного спектральных диапазонов, совмещении изображений различных спектральных диапазонов, а также компенсации геометрического шума ИК приёмников.

В научных разработках АО «РИФ» используются результаты диссертационной работы Кудинова И.А., представленной на соискание ученой степени кандидата технических наук:

1. Способ и устройство для автоматической фотограмметрической калибровки разноспектральных камер;

2. Способ совмещения изображений различных спектральных диапазонов, обеспечивающий за счет предварительной фотограмметрической калибровки камер по универсальному тест-объекту выигрыш в средней абсолютной ошибке геометрического совмещения до 6,6 раз по сравнению с известным алгоритмом совмещения по особым точкам контурного препарата;

3. Алгоритм компенсации геометрического шума ИК приёмников, основанный на анализе сцены, получаемой с тепловизионной камеры.

МГ!

АКТ

внедрения результатов кандидатской диссертационной работы Кудинова Игоря Алексеевича в учебном процессе

Рязанского государственного радиотехнического университета им. В.Ф. Уткина

Настоящим акгом удостоверяется, что разработанные методы и алгоритмы формирования сферических и цилиндрических панорам и результаты экспериментальных исследований, полученные Кудиновым ИА. в ходе работ над кандидатской диссертацией, внедрены в учебный процесс кафедры «Электронные вычислительные машины» Рязанского государственного радиотехнического университета им. В.Ф. Уткина.

Издание «Формирование сферических и цилиндрических панорам: методические указания к лабораторной работе / Рязан. гос. радиотехн. ун-т им. В.Ф. Уткина; per. № 7441, сост. И.А. Кудинов, Е.Р. Муратов, М.Б. Никифоров, И.С. Холопов, Рязань. 2022. - 12 с.» используется при изучении дисциплины «Системы технического зрения» магистрантами, обучающимися по направлению 09.04.01 «Информатика и вычислительная техника» и включено в рабочую программу указанной дисциплины.

Декан факультета вычислительной техни д.т.н., профессор

Зав. кафедрой ЭВМ, д.т.н., профессор

Б.В. Костров