Разработка методов определения положений, перемещений, относительных и абсолютных скоростей объектов интереса на плоскости по данным с монокулярной камеры видимого диапазона с применением методов машинного обучения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Водичев Никита Алексеевич

• Водичев Никита Алексеевич
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Водичев Никита Алексеевич

Введение

Глава 1. Анализ существующих решений задачи определения положений, перемещений и скоростей движения

объектов на плоскости

1.1 Применение радаров, лидаров и стереокамер

1.1.1 Радиодетекторы и лазерные системы

1.1.2 Стереокамеры

1.2 Методы, использующие данные с монокулярной камеры

видимого диапазона

1.2.1 Методы распознавания объектов на изображении

1.2.2 Трекинг объектов

1.2.3 Вычисление расстояний и скоростей

1.3 Выводы

Глава 2. Используемые методы распознавания и трекинга

объектов интереса на изображениях с монокулярной

камеры

2.1 Детекция

2.1.1 Постановка задачи

2.1.2 Используемая архитектура и сбор данных

2.2 Сегментация

2.2.1 Постановка задачи

2.2.2 Используемая архитектура и сбор данных

2.3 Трекер объектов

2.3.1 Постановка задачи мультитрекинга объектов

2.3.2 Реализованные модификации

2.4 Выводы

Глава 3. Алгоритм определения положения и скорости

объектов по данным с монокулярной камеры

Стр.

3.1 Предлагаемый алгоритм расчета удаленности объекта от монокулярной камеры

3.1.1 Геометрическая модель работы монокулярной камеры

3.1.2 Алгоритм определения тангенсов углов на основе геометрического упрощения

3.1.3 Теоретическая погрешность

3.2 Предлагаемый алгоритм расчета положений и скоростей

объектов на наблюдаемой плоскости

3.2.1 Калибровка камер

3.2.2 Выбор точки для множества координат на изображении

3.2.3 Расчет множества положений объектов с помощью СРБ-трекера

3.2.4 Расчет множества положений объектов с использованием данных о размерах

3.2.5 Автоматическая калибровка камеры на основе реальных размеров объекта интереса

3.2.6 Определение положения объектов на наблюдаемой плоскости

3.2.7 Вычисление скорости

3.2.8 Геометрическая модель работы видеокамеры

3.2.9 Теоретическая погрешность

3.3 Выводы

Глава 4. Экспериментальное исследование разработанных

алгоритмов

4.1 Определение удаленности и относительных скоростей ТС по данным с монокулярной системы, установленной в движущемся автомобиле

4.2 Погрузка и разгрузка поддонов автономным беспилотным погрузчиком

4.2.1 Модель беспилотного погрузчика

4.2.2 Погрузка и разгрузка поддонов

4.2.3 Результаты эксперимента

Стр.

4.3 Определение положения и скоростей движения ТС по данным

со стационарной системы наблюдения

4.3.1 Постановка эксперимента

4.3.2 Расчет метрики

4.3.3 Методика расчета скорости

4.3.4 Результаты эксперимента

4.4 Автоматическая калибровка камеры для расчета средней

скорости движения погрузчиков по складскому помещению

4.4.1 Расчет матрицы томографии

4.4.2 Результат эксперимента

4.5 Выводы

Заключение

Список литературы

Список рисунков

Список таблиц

Приложение А. Акты о внедрении результатов

диссертационного исследования

Введение диссертации (часть автореферата) на тему «Разработка методов определения положений, перемещений, относительных и абсолютных скоростей объектов интереса на плоскости по данным с монокулярной камеры видимого диапазона с применением методов машинного обучения»

Введение

Одной из ключевых задач в области компьютерного зрения является определение положений и скоростей объектов на плоскости, а также их удаленности от записывающего устройства. Подобные задачи особенно актуальны в таких сферах, как аналитика транспортных потоков, системы безопасности и автономные транспортные средства (ТС). Системы, используемые в данных областях, находят применение в управлении беспилотным транспортом, мониторинге пешеходных зон, предотвращении дорожно-транспортных происшествий и автоматизированной фиксации нарушений правил дорожного движения. В данном исследовании эти задачи решаются применительно к двум направлениям: обеспечению безопасности дорожного движения и роботизации складских процессов.

В 2024 году зафиксировано снижение основных показателей дорожно-транспортной аварийности. По сравнению с 2023 годом количество дорожно-транспортных происшествий, в которых погибли и (или) были ранены люди, снизилось на 0,3% (132 037), число погибших в них - на 0,7% (14 403), раненых - на 1% (164 754) [1]. Задача повышения безопасности дорожного движения всегда остается актуальной. В рамках ее решения производится установка систем наблюдения и фиксации нарушений |2 4|. а также оснащение транспорта интеллектуальными системами предотвращения столкновений [5—8]. В 2023 году на дорогах Российской Федерации использовалось 29.2 тыс. комплексов автоматической фотовидеофиксации нарушений правил дорожного движения [9], а в 2024 году их количество увеличилось до 31.97 тыс. [1]. Таким образом, количество используемых комплексов фиксации нарушений ежегодно увеличивается, что приводит к постоянному росту объёмов обрабатываемых данных.

Склады и распределительные центры являются неотъемлемой частью всех операций в цепочках поставок. Они играют важную роль в товарных потоках, так как участвуют в обеспечении оптимальной и непрерывной работы процессов производства и дистрибуции [10]. В связи с этим растет спрос на роботизацию складов и распределительных центров с целью повышения безопасности и скорости обработки заказов [11; 12]. Одним из предлагаемых решений для задач в складских помещениях является беспилотный погрузчик

(БП). БП представляют собой современные автоматизированные устройства, разработанные для самостоятельного и точного перемещения и складирования грузов в промышленных условиях. Работа данных систем и комплексов зачастую основана на использовании лазеров, радаров, лидаров и стереосистем [13-15].

Данные приборы хорошо зарекомендовали себя и для решения задач безопасности дорожного потока. Они обеспечивают необходимую точность и надежность, однако их высокая стоимость может стать значительным барьером для широкого внедрения [16]. Альтернативой является пара монокулярных систем, установленных на определенном расстоянии друг от друга, которые вычисляют скорость автомобиля, измеряя время прохождения ТС между точками установки. К сожалению, при таком подходе нет возможности реально оценить мгновенную скорость и попять точное время и место нарушения [17].

В контексте таких проблем, как необходимость обработки больших объемов разнообразных данных и высокая экономическая стоимость текущих технических решений, всё более актуальной становится разработка систем на основе искусственного интеллекта и монокулярных камер, использующих всего одно устройство видеозахвата. Такие методы позволяют быстро и точно обрабатывать большие массивы данных, обладая высокой обобщающей способностью [18]. Также решения с использованием монокулярных систем совместно с искусственными нейронными сетями смогут существенно снизить стоимость итогового комплекса за счет более простого и доступного оборудования. При этом подобные решения можно без труда интегрировать в существующую инфраструктуру (будь то городской транспорт или автономный погрузчик на складе). Главная сложность заключается в том, что одномерный видеопоток не дает прямой информации о глубине сцены, что не позволяет рассчитать положения и скорости движения объектов без использования алгоритмов постобработки.

Целью данной работы является разработка методов и алгоритмов для определения положений и скоростей объектов на наблюдаемой плоскости, а также удаленности объектов от записывающего устройства, используя в качестве входных данных изображения с монокулярных камер видимого диапазона.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Проанализировать существующие решения задачи определения положений и скоростей объектов на плоскости по изображениям с монокулярной камеры видимого диапазона.

2. Разработать алгоритм для решения задачи обнаружения и распознавания объектов при помощи искусственных нейронных сетей по изображениям с монокулярных камер.

3. Разработать алгоритм постобработки данных, полученных нейросетевым алгоритмом распознавания объектов, для определения положений и скоростей объектов для стационарной и движущейся системы.

4. Разработать геометрическую модель работы монокулярной системы для оценки теоретической погрешности предложенных алгоритмов.

5. Реализовать серию экспериментов для расчета фактической погрешности алгоритмов определения положений и скоростей объектов.

Научная новизна:

1. Предложен новый алгоритм предварительной калибровки стационарной монокулярной камеры видимого диапазона с использованием искусственных нейронных сетей по данным с ОР8-трекера, установленного в движущемся перед камерой объекте, учитывающий смещение вРЯ-антены, а также погрешности, вносимые алгоритмами детектирования.

2. Предложен новый алгоритм определения удаленности объектов от камеры на основе обнаружения объектов с известными размерами с помощью нейросетевого сегментатора.

3. Предложен новый метод автоматической калибровки стационарной монокулярной камеры на основе распознавания объектов с известными размерами с использованием нейросетевого детектора и сегментатора.

Практическая значимость результатов диссертации обуславливается вычислительной эффективностью использования разработанных алгоритмов определения положений и скоростей движения объектов на наблюдаемой плоскости. Результаты работы внедрены в систему дорожной видеоаналитики «ПАУК» и автономный беспилотный погрузчик. Это подтверждается

соответствующими актами от компаний ООО «НПО «ИТС.Софт» и ООО «Беспилотный погрузчик».

Методология и методы исследования. В диссертационном исследовании используются методы математической статистики, цифровой обработки изображений, методы глубокого обучения и компьютерного зрения. Исследования проводились с использованием монокулярных систем видимого диапазона с различными характеристиками. Данные системы послужили источником данных для проведения экспериментов. Реализация алгоритмов и программных комплексов, используемых в экспериментальной части работы, осуществлялась средствами языков программирования С++ и Python. Работа соответствует специальности 2.3.1. Системный анализ, управление и обработка информации, статистика (технические науки).

Основные положения, выносимые на защиту:

1. Разработан алгоритм определения удаленности объектов от записывающего устройства, а также расчета относительной скорости объектов, попавших в поле зрения камеры, на основе геометрического представления работы монокулярной камеры и информации о реальных размерах распознаваемых объектов.

2. Разработан алгоритм вычисления координат и скоростей объектов интереса на наблюдаемой плоскости на основе предварительной калибровки монокулярной камеры.

3. Разработан алгоритм оценки координат на наблюдаемой плоскости и скорости движущихся по ней объектов для стационарной монокулярной системы на основе распознавания объектов с известными размерами с последующим построением матрицы преобразования.

4. Разработан алгоритм автоматической калибровки монокулярной системы на основе распознавания объектов с известными размерами для построения матрицы томографии.

Достоверность. Выводы диссертационного исследования обоснованы расчетом теоретических погрешностей предложенных алгоритмов. Достоверность представленных результатов подтверждена экспериментальными испытаниями, выполненными на реальных данных.

Апробация работы. Основные результаты работы докладывались на следующих международных и всероссийских конференциях:

— Инжиниринг и телекоммуникации (EN&T), Москва, 2023.

— Hyrbid methods of modeling and optimization in complex systems (HMMOCS-II-2023), Красноярск, 2023.

— 65-я Всероссийская научная конференция МФТИ. Долгопрудный. 2023.

— 66-я Всероссийская научная конференция МФТИ. Долгопрудный. 2024.

— 8th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Калининград, 2024.

Личный вклад. Разработка алгоритмов определения положений и скоростей объектов по данным с монокулярной камеры, а также алгоритма определения удаленности объекта от записывающего устройства велась автором совместно с к.т.н. Леусом А. В. Отладка и экспериментальное исследование данных алгоритмов, разработка, отладка и тестирование алгоритма автоматической калибровки монокулярной системы производились лично автором. Подготовка публикаций основных результатов, полученных в данном исследовании, проводилась совместно с соавторами, вклад диссертанта был определяющим.

Публикации. Основные результаты по теме диссертации изложены в 9 печатных изданиях, 3 из которых изданы в журналах, рекомендованных ВАК, 2 и периодических научных журналах, индексируемых Web of Science и Scopus, 4^в тезисах докладов. Зарегистрированы 3 программы для ЭВМ.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 1 приложения. Полный объём диссертации составляет 121 страницу, включая 41 рисунок и 14 таблиц. Список литературы содержит 121 наименование.

Глава 1. Анализ существующих решений задачи определения положений, перемещений и скоростей движения объектов на

плоскости

1.1 Применение радаров, лидаров и стереокамер

Одними из первых решений, получивших широкое распространение для задач определения положений, перемещений, относительных и абсолютных скоростей объектов на плоскости, стали специализированные аппаратные сенсоры: радары, лидары, лазерные дальномеры и стереокамеры. Данные технологии получили массовое распространение благодаря высокой точности измерения расстояний и скорости объектов. В свою очередь, стереокамеры стали популярны благодаря простоте конструкции, отсутствию необходимости в собственном излучении и способности восстанавливать пространственную структуру сцены на основе обработки изображений с двух камер.

Анализ данных аппаратных подходов, их принципов работы, а также выявление их сильных и слабых сторон позволит подчеркнуть актуальность и перспективность последующих решений, таких, как использование монокулярных камер в сочетании с современными алгоритмами машинного обучения и компьютерного зрения.

1.1.1 Радиодетекторы и лазерные системы

Одними из наиболее распространенных технологий для расчета скорости объектов и их удаленности являются устройства с использованием радиоволн и лазерных импульсов. Особенно популярно применение данных технологий для задачи фиксации правонарушений. Использование таких систем для наложения штрафов за превышение скорости обуславливается высокими требованиями к максимально допустимой погрешности [19].

Радары работают за счет излучения радиоволн, которые отражаются от объектов и возвращаются обратно на приемник. Измерение расстояния

производится по времени, затраченному сигналом на распространение от радара к объекту и обратно. Скорость объектов определяется путем анализа эффекта Доплера, то есть изменения частоты отраженного сигнала в зависимости от скорости движения объекта относительно радара [20 24]. На рисунке 1.1 схематично изображена работа радиодетектора. На нем отображено 3 случая. В первом объект удаляется от устройства, из-за этого длина волны отраженного сигнала становится больше. Во втором объект стоит на месте и длина волны при этом не изменяется. В третьем объект движется навстречу устройству, и длина волны отраженного сигнала становится меньше.

Рисунок 1.1 Схематичное изображение работы радара, основанного на

эффекте Допил ера [24].

На рисунке 1.2 схематично изображена работа лазерных систем. Лидары и лазерные дальномеры используют импульсы в инфракрасном или видимом спектре. Принцип работы данных систем заключается в фиксации времени, затраченного на путь сигнала от устройства до объекта интереса. Система отправляет луч, который отражается от объекта и возвращается к приемнику. Расстояние вычисляется по времени распространения света. Скорость объектов оценивается либо путем последовательного анализа расстояний в разные моменты времени, либо за счет построения точной трехмерной карты (облака точек) и ее анализа с помощью алгоритмов компьютерного зрения [25; 26].

Optical system

Light source

Reference

light

Photosensor (MPPC. APD. PIN photodiode)

Object

Timer circuit

Time measurement circuit

Reflected light

R

-_--Distance measurement

Рисунок 1.2 Схематичное изображение работы дидара [27].

В России используются системы фотовидеофиксации нарушений, которые применяют радиодетекторы и/или лидары для контроля скорости движения ТС. Стационарные комплексы устанавливаются в фиксированных местах и постоянно контролируют скорость движения на определенных участках дорог. Передвижные комплексы обеспечивают гибкость в выборе мест контроля и позволяют охватывать различные участки дорог. Однако они требуют ежедневной установки и настройки сотрудниками [16; 28; 29].

Помимо применения радаров и лидаров для фиксации нарушений скоростного режима и обеспечения соблюдения правил дорожного движения, они активно используются в передовых системах помощи водителю (Advanced Driver Assistance Systems, ADAS). Радарные датчики и лазерные дальномеры (рисунок 1.3) позволяют таким системам определять расстояние, относительную скорость и направление движения других транспортных средств и объектов, обеспечивая работу таких функций, как адаптивный круиз-контроль, автоматическое экстренное торможение и системы предупреждения столкновений. В научной литературе представлен целый ряд исследований, посвященных разработке и совершенствованию алгоритмов, использующих данные автомобильных радаров для распознавания объектов, оценки их траекторий и принятия решений в реальном времени [5 8; 23; 30 33].

Еще одним применением радаров и лидаров являются автоматические погрузчики и другие мобильные роботизированные системы. В таких устройствах радары и лидары выполняют задачи обеспечения безопасности, навигации, определения препятствий на пути, распознавания конкретных объектов (например, поддонов) и расчета оптимальной траектории движения.

Long range Radar Medium range Radar Short range Radar Park Assist

Surrounding View Rear Collision view

Рисунок 1.3 Применение радаров и дидаров для систем помощи водителю

[30].

Эти технологии позволяют автоматическим погрузчикам выполнять задачи по транспортировке грузов без вмешательства человека [13 15].

Несмотря на широкое распространение радарных, лазерных систем и лидаров, каждая из этих технологий имеет свои ограничения. Например, радарные системы могут слабо различать близко расположенные или мелкие объекты, а также подвержены помехам от других радаров или окружающих металлических поверхностей. Это повышает вероятность ложных срабатываний или пропусков реальных нарушений. В свою очередь, лидары и лазерные системы, хотя и обеспечивают высокую пространственную точность и хорошее распознавание объектов, чувствительны к атмосферным условиям сильный дождь, снег или туман могут существенно снизить точность или даже полностью вывести их из строя. В случае задачи фиксации превышения скорости недостатком радарных, лазерных систем и лидаров, в отличие от монокулярной камеры, является их активный принцип работы, при котором система излучает сигнал и принимает его отражение от объектов. Это делает такие устройства уязвимыми к применению антирадаров и других средств обнаружения или подавления сигналов, которые помогают нарушителям заранее выявить зоны контроля и избежать штрафов. Подобное противодействие существенно снижает эффективность автоматизированного контроля скорости. Также лидары и лазеры имеют высокую стоимость и

требуют тщательной регулярной калибровки и технического обслуживания, что ограничивает их широкомасштабное применение.

1.1.2 Стереокамеры

Другой технологией, способной определять стереоскопические параметры наблюдаемой сцены, является стереокамера. Она представляет собой две и более камеры, расположенные на определенном фиксированном расстоянии друг от друга. Принцип работы стереокамеры заключается в имитации человеческого зрения — каждая из камер захватывает изображение сцены со своего ракурса, и на основе различий между двумя изображениями система вычисляет глубину объектов и расстояние до них. Данный эффект достигается путем калибровки двух камер и построения карты глубины |34 37|.

В научном сообществе представлен ряд работ, в которых используются вышеописанные технологии для определения положений, скоростей и удаленности объектов от записывающего устройства. Большинство работ написано в контексте задач систем помощи водителю ADAS [38; 39], автоматической погрузки и разгрузки поддонов погрузчиком [40; 41] и фиксации скорости движения ТС |42 461.

Главным недостатком решений, использующих стереокамеры, является необходимость строгой и регулярной калибровки, поскольку подобные системы весьма чувствительны к механическим воздействиям и даже небольшим изменениям взаимного расположения камер. Помимо этого, стереосистемы более требовательны к вычислительным ресурсам по сравнению с монокулярными решениями, так как необходимо одновременно обрабатывать как минимум два изображения. Также критическим недостатком является то, что при перекрытии или неисправности хотя бы одной камеры вся система полностью теряет работоспособность.

1.2 Методы, использующие данные с монокулярной камеры

видимого диапазона

Несмотря на широкое применение аппаратных решений, описанных в предыдущем разделе, существует потребность в более простых и экономичных подходах к решению задач определения положений, перемещений и скоростей объектов. В этом контексте значительный интерес представляют методы, основанные на использовании монокулярных камер. В силу своей доступности, экономичности и низких вычислительных затрат, такие подходы позволяют существенно снизить стоимость конечных решений.

Кроме того, важно отметить, что монокулярные камеры уже активно используются в составе систем фиксации скорости в качестве вспомогательного инструмента. Их задача заключается в обеспечении визуальной идентификации объекта, например, распознавания номерных знаков ТС. Однако потенциал монокулярных камер значительно шире и может быть реализован за счет применения различных методов компьютерного зрения, позволяющих решать указанные задачи без привлечения дополнительных дорогостоящих сенсоров.

В данном разделе будут рассмотрены подходы и алгоритмы, которые успешно использовались и продолжают использоваться для определения положений, перемещений и скоростей объектов на основе данных монокулярной камеры.

1.2.1 Методы распознавания объектов на изображении

Методы фонового вычитания представляют собой группу алгоритмов, предназначенных для выделения движущихся объектов на изображении путем сравнения текущего кадра с заранее построенной моделью фона. Выделяют несколько подходов к реализации фонового вычитания:

1. Статистические методы, такие, как Гауссовские смеси [47]. Они моделируют каждый пиксель изображения несколькими гауссовскими распределениями, что позволяет адаптироваться к изменениям освещения и динамическому фону.

2. Нестатистические подходы, например, алгоритм ViBe (Visual Background Extractor), который использует выборочные подходы и методы выборки пикселей из предыдущих кадров, обеспечивая быструю адаптацию к изменениям в сцене [48].

3. Методы на основе медианной фильтрации, которые реализуют простую адаптивную модель фона, способную справляться с шумами и небольшими изменениями освещенности. Однако их производительность снижается при значительных и быстрых изменениях в кадре [49].

Основными недостатками данных методов является чувствительность к динамике фона. Изменение освещения наблюдаемого участка или ракурса камеры приводит к длительной адаптации алгоритма. Поэтому данные алгоритмы зачастую применяются только для задач фиксации скорости со стационарных монокулярных систем |50 541. Другим недостатком данных методов является чувствительность к теням или отражениям объектов. Алгоритмы фонового вычитания могут ошибочно воспринимать их как часть объекта, тем самым выделяя контур неточно.

Выделение по признакам. Одним из классических методов для распознавания и отслеживания объектов на изображениях является использование алгоритмов, основанных на выделении и анализе специальных ключевых признаков объектов [55]. Данный метод предполагает идентификацию уникальных точек или областей изображения, которые остаются относительно неизменными и устойчивыми при движении объекта. Наиболее популярными алгоритмами извлечения и отслеживания признаков являются SIFT [56], SURF [57] и ORB [58]. Общая идея этих алгоритмов заключается в обнаружении особых точек или участков и последующем сопоставлении их между последовательными изображениями.

В научном сообществе представлены работы, в которых описываются решения задач обнаружения автомобилей и автоматизации складской техники на основе методов отслеживания по признакам. Для определения положения ТС на кадре зачастую используется его номерной знак [59—62], но существуют примеры работ, когда в качестве признака берутся иные контуры, например, кузов или колеса [51; 63; 64]. В контексте автоматизации складской техники с помощью методов отслеживания по признакам решается задача обнаружения поддонов и препятствий [65; 66]. Основным преимуществом данного метода

является его вычислительная дешевизна, которая позволяет реализовать его на маломощном устройстве, например, на Raspberry Pi 4 [65]. Однако существует ряд недостатков: описанные алгоритмы нуждаются в тонкой настройке, а на изображении не всегда удается обнаружить четкие контуры объекта.

Сверточные нейронные сети (convolutional neural network, CNN) представляют из себя глубокие нейронные сети, созданные для обработки изображений. Их ключевая особенность заключается в использовании сверточных слоев, которые автоматически извлекают признаки из входных данных. Данная технология является одной из наиболее активно развивающихся в области компьютерного зрения для распознавания объектов на изображении.

В контексте задачи определения положений, скоростей и расстояний до объектов чаще всего применяются два типа CNN: детекторы и сегментаторы. Первые локализуют объекты с помощью ограничивающих прямоугольников. Наиболее распространенные архитектуры для этой задачи включают семейства YOLO (You Only Look Once) [67] и Faster R-CNN [68], которые достигают высокой точности обнаружения объектов и работают в реальном времени. Вторые осуществляют пиксельное разделение объектов и фона или выделение отдельных экземпляров одного класса. Примеры таких архитектур — Mask R-CNN [69], семейство сетей DeepLab [70] и семейство YOLO [67]. Применение сегментации позволяет существенно улучшить точность вычисления расстояний до объектов и их пространственных параметров благодаря более точной локализации объектов на изображении.

В задачах фиксации скорости ТС сверточные нейронные сети активно используются для определения положения автомобиля в кадре и выделения его колес или государственного регистрационного знака (ГРЗ) [71—74]. Для задач ADAS данная технология применяется для выделения корпуса автомобиля или обнаружения окружающих препятствий, попадающих в поле зрения камеры [75; 76]. В области складской робототехники CNN также показали свою работоспособность для задач обнаружения и оценки пространственного положения поддонов и других складских объектов |77 79|.

Основным преимуществом сверточных нейронных сетей, по сравнению с остальными методами, является их обобщающая способность. Технологии, основанные на CNN, существенно превосходят классические методы по универсальности и устойчивости к внешним условиям, таким, как вариации

освещения, сложность фона и частичные перекрытия объектов. Недостатки данного метода обнаружения заключаются в требовании к большому объему незашумленных данных для обучения и высокими вычислительными затратами по сравнению с другими методами. Эти факторы могут стать сдерживающими при разработке систем в условиях ограниченных ресурсов или в прикладных задачах, где сложно собрать большие объемы данных. Тем не менее, на сегодняшний день существует множество открытых и специализированных датасетов для задач распознавания (COCO [80], BDD100K [81], KITTI [82], Open Images [83] и др.), а при необходимости можно один раз собрать и разметить собственную выборку под конкретные условия эксплуатации. Что касается вычислительной стоимости, активно развиваются и успешно применяются облегченные модели, которые, при существенно меньших требованиях к ресурсам, сохраняют высокую точность и способны работать в режиме реального времени даже на встраиваемых устройствах. Таким образом, исходя из данных преимуществ и недостатков, в данной работе в качестве метода для обнаружения объектов на изображении использовались сверточные нейронные сети.

Список литературы диссертационного исследования кандидат наук Водичев Никита Алексеевич, 2025 год

\ /

А

\\

\\

\

/

30 -20 10 0 10 20 30

1080 945 810 675 540 405 270 135 0

Изображение

О 240 430 720 Э60 1200 1440 1680 1920 х, пике.

а) Траектория на набд. плоскости. б) Траектория на изображении. Рисунок 3.11 Модельная траектория объекта, проходящая вблизи границы поля зрения камеры. Серая заштрихованная зона на изображении а) соответствует области, которая находится вне поля зрения камеры.

графиков отличается от зависимостей, изображенных на рисунке 3.10. Данный эффект может быть связан с большим влиянием оптических искажений на траекторию объекта на изображении. При этом ошибка медленнее возрастает на промежутке удаленности от 20 м до 40 м. В таблице 6 указаны значения максимального расстояния, при котором ошибка вычисления скорости не превышает пороги 1 км/ч и 5 км/ч.

Полученные значения удаленности, при которой средняя ошибка определения скорости не превышает порог 1 км/ч, незначительно отличаются от величин, указанных в таблице 5. Однако для порога 5 км/ч разница существенная. Следовательно, можно сделать вывод о незначительном влиянии оптического искажения на результаты вычисления скорости при жестких требованиях к точности.

Таблица 6 Максимальная удаленность объекта от камеры. Стандартная камера. Траектории вблизи границы поля зрения камеры

Скорость движения, км/ч Максимальная удаленность, м

^ 1 км/ч ^ 5 км/ч

40 22 52

60 22 52

120 19 52

180 17 50

о 3

3 2

О

Ошибка расчета скорости. 40 км/ч

10 20 30 40 50

« з

If

Ошибка расчета скорости. 60 км/ч

10 20 30 40 50

а) 40 км/ч

б) 60 км/ч

S 4

3

о ■

20 30 40 50

з

о

/

15 20 25 30 35 40 45 50 55

в) 120 км/ч г) 180 км/ч

Рисунок 3.12 Зависимость ошибки определения мгновенной скорости от удаленности объекта для окна с размером 5. Стандартная модель с параметрами, указанными в таблице 4. Траектории вблизи края изображения.

Теперь рассмотрим систему, использующую длиннофокусную камеру. Для нашей модели фокусное расстояние явно не участвует в расчете, а её оптические характеристики задаются через углы поля зрения. Так как фокусное расстояние обратно пропорционально данным углам, то для моделирования длиннофокусной камеры зададим их маленькими. Также изменим соотношение

сторон выдаваемого кадра, изменив разрешение изображения. Параметры моделируемой системы указаны в таблице 7. Главная особенность подобных систем заключается в том, что эффекты оптических искажений не вносят значительный вклад в ошибку распознавания положения объекта.

Таблица 7 Параметры геометрической модели камеры.

Высота установки камеры (Н) 6.5 м

Горизонтальный угол поля зрения (0Ж) 12.8°

Вертикальный угол поля зрения (0у) 14.4°

Угол наклона камеры (04) 75°

Разрешение изображения (М х Ж) 2448x2048

Как и для стандартной камеры с параметрами, указанными в таблице 4, смоделируем равномерное движение объекта в поле зрения камеры. Начальное положение и скорость объекта оставим прежними, угол направления движения установим равным 7п/15.

Траектория объекта на наблюдаемой плоскости и на кадре изображены на рисунках 3.13. Более узкий, по сравнению с прошлой моделью, угол поля зрения уменьшает видимую область. С другой стороны, можно увеличить угол наклона «4, что увеличит дальность видимости камеры. Причем использование систем с большим фокусным расстояниям позволяет увеличить дальность видимости камеры без значительных искажений.

° -10 -5 0 5 10 °0 306 612 918 1224 1530 1836 2142 2443

X, м х, пике.

а) Траектория на набл. плоскости. б) Траектория на изображении. Рисунок 3.13 Модельная траектория объекта, проходящая вблизи границы поля зрения камеры. Модель длиннофокусной камеры.

Аналогично прошлой системе рассмотрим среднюю ошибку определения скорости в зависимости от удаленности объекта от камеры. Результат расчета изображен на рисунках 3.14.

*4

О 2

20 40 60 ВО 100

Удаленность от камеры, м

а) 40 км/ч

и 3

э

о2

Ошибка расчета скорости. 60 км/ч

40 60 80 100

Удаленность от камеры,м

б) 60 км/ч

54

9 з

40 60 00 100

Удаленность от камеры, м

Ё2

40 60 80 100

Удаленность от камеры,м

в) 120 км/ч г) 180 км/ч

Рисунок 3.14 Зависимость ошибки определения мгновенной скорости от удаленности объекта для окна с размером 5. Длиннофокусная модель с

параметрами, указанными в таблице 7.

Данные графики отображают влияние погрешности методов обнаружения объекта на расчет скорости. Максимальная дальность, при которой ошибка не

превышает 1 км/ч и 5 км/ч, равняется 48 м и 107 м соответственно и не зависит от значения скорости. При этом значение расстояния увеличилось больше, чем в 2 раза для каждого порога. Это связано с отсутствием оптических искажений, эффект которых наблюдался на прошлой модели.

Таким образом, использование системы с большим фокусным расстоянием и, как следствие, узким полем зрения теоретически повышает удаленность объекта, для которого расчет скорости предложенным алгоритмом будет достаточно точным.

3.3 Выводы

В данной главе были предложены алгоритмы для определения положения, удаленности и скоростей объектов по данным с монокулярной камеры. Основой данных алгоритмов является обнаружение объектов интереса на изображении с помощью методов компьютерного зрения. Были предложены следующие алгоритмы:

— алгоритм расчета расстояния до объекта с использованием информации о его размерах и углах поля зрения камеры;

— алгоритм расчета матрицы преобразования на основе предварительной калибровки с использованием GPS-координат объекта, перемещающегося в поле зрения камеры;

— алгоритм автоматического построения матрицы томографии на основе информации о размерах объекта и характеристик монокулярной системы;

— алгоритм итеративного подбора параметров монокулярной системы на основе минимизации ошибки определения размеров объекта на изображении.

Была произведена оценка теоретической погрешности алгоритма определения расстояния до объектов. Суммарная ошибка основывается на зависимости, предложенной в работе [118]. Аргументами данной функции являются погрешность методов распознавания объектов на изображении, оптические искажения и фактическая удаленность объекта.

Для расчета теоретической погрешности алгоритмов определения положений объектов на наблюдаемой плоскости была предложена геометрическая модель работы монокулярной камеры. Параметрами модели являются вертикальный и горизонтальный углы поля зрения, высота установки относительно наблюдаемой плоскости и угол наклона камеры. Разработанная модель учитывает перспективные и оптические искажения камеры и позволяет рассчитать траекторию движения объекта на изображении при известной траектории на наблюдаемой плоскости и наоборот. Были рассмотрены 2 набора параметров: первый соответствует стандартной камере с горизонтальным

углом поля зрения 60°, второй — длиннофокусной камере с узким полем зрения 14°

равномерного движения объекта в поле зрения камеры с различными скоростями. С помощью предложенной модели было исследовано влияние погрешности методов распознавания объектов на изображении и оптических искажений на точность расчета скорости. Для обеих монокулярных систем были вычислены максимальные удаленности объекта от камеры, для которых средняя ошибка вычисления скорости не превышает 1 км/ч и 5 км/ч.

Глава 4. Экспериментальное исследование разработанных

алгоритмов

В данной главе представлено описание и результаты проведенного экспериментального исследования алгоритмов, описанных в главе 3. Проверка работоспособности осуществлялась на следующих задачах:

— Определение удаленности и относительных скоростей ТС по данным с монокулярной системы, установленной в движущемся автомобиле.

— Автоматическая погрузка и разгрузка поддонов автономным беспилотным погрузчиком.

— Определение положения и скоростей движения ТС по данным со стационарной системы наблюдения.

— Автоматическая калибровка камеры для расчета средней скорости движения погрузчиков по складскому помещению.

4.1 Определение удаленности и относительных скоростей ТС по данным с монокулярной системы, установленной в движущемся

автомобиле

Для оценки погрешности алгоритмов определения удаленности объекта от монокулярной камеры проведен эксперимент. Испытание заключалось в обработке видео перемещения автомобиля в поле зрения камеры, установленной в салоне другого ТС. Результатом обработки является расстояние до автомобиля и его относительная скорость в каждый момент времени. Конфигурация записывающего устройства представлена в таблице 8.

Таблица 8 — Параметры камеры.

Горизонтальный угол поля зрения фх) 60°

Вертикальный угол поля зрения 40°

Разрешение изображения (М х А) 1920 х 1080

Сначала было проведено исследование погрешности определения удаленности объекта от камеры алгоритмом, описанным в разделе 3.1.2.

Проверка осуществлялась путем вычисления расстояния до объекта и сравнения его с истинными значениями. Для этого в поле зрения камеры был зафиксирован автомобиль на различных расстояниях от нее. Далее на каждом кадре с помощью сегментатора ГРЗ была найдена соответствующая маска, а с помощью детектора ТС определялась ограничивающая рамка автомобиля. Распознанный сегмент был использован для определения координат левого и правого краевых пикселей номера автомобиля. На следующем шаге вычислялись углы соответствующих пикселей и расстояние до объекта. Для того, чтобы повысить дальность работы алгоритма, определение расстояние до автомобиля осуществлялось по его габаритам. Расчет ширины ТС осуществлялся по формуле (3.4) в тот момент, когда номер был распознан и удалось рассчитать удаленность. При этом использовались координаты ограничивающей рамки, соответствующие габаритам ТС. Далее расчет расстояния проводился на основе краевых пикселей корпуса ТС.

В таблице 9 представлена погрешность расчетов расстояния до объекта. Величины абсолютной и относительной ошибок рассчитывались по следующим формулам соответственно:

£ 1 dtrue dcalc 1 ,

£ (4.1)

£б =

где dtrue — истинное расст ояние, dcaic — рассчитанное расстояние. На больших расстояниях (> 30 м) ГРЗ перестает детектироваться. Благодаря использованию найденных габаритов удалось значительно повысить дальность, на которой удается вычислять расстояние. Причем на близких дистанциях (до 20 м) погрешность не превышает 0.65 м. При большем удалении авто от камеры погрешность заметно возрастает. Это объясняется качеством записи, а также возможностями детектора и сегментатора. Данные расчеты согласуются с теоретической погрешностью, описанной в разделе 3.1.3.

На следующем этапе эксперимента был проверен расчет относительной скорости движущихся впереди автомобилей. Для этого в автомобиль-испытатель (первый автомобиль) были установлены камера и GPS-трекер, который фиксировал текущее местоположение и собственную скорость. Перед автомобилем-испытателем двигался второй автомобиль, на котором также был установлен отдельный GPS-трекер. Он фиксировал его местоположение и скорость в каждый момент времени, предоставляя эталонные данные для

Таблица 9 — Погрешность алгоритма

Удаленность, м Погрешность (абсолютная, м / относительная)

Номерной знак Габариты ТС

5 0.32 6.4% 0.32 6.4%

10 0.46 4.7% 0.26 2.7%

15 0.22 1.5% 0.22 1.5%

20 0.65 3.3% 0.65 3.3%

25 2.55 10.2% 0.62 2.5%

30 5.6 18.7% 1.01 3.3%

35 - - 2.36 6.7%

40 - - 3.21 8.5%

последующего анализа. Видеозаписи, полученные с регистратора, подвергались обработке разработанным алгоритмом, который осуществлял распознавание второго автомобиля, вычислял дистанцию до него и определял его относительную скорость движения. Для расчета абсолютных значений скорости ТС были использованы данные с GPS-трекера автомобиля-испытателя.

На рисунке 4.1 изображен пример работы системы. Здесь красным цветом обозначена зона интереса, зеленым цветом выделена ограничивающая рамка второго автомобиля, справа от этой рамки приведена информация о расстоянии до ТС, его габаритах, истинной и рассчитанной скорости. Для расчета удаленности автомобиля от записывающего устройства использовались данные о его габаритах. Это позволило увеличить дальность работы алгоритма.

Вычисление относительной скорости проводилось по формуле (3.28), где вместо координат объекта использовалось расстояние до него в определенный момент времени. Результаты расчета скорости приведены на рисунке 4.2. Здесь синим цветом обозначена скорость, рассчитанная с помощью предложенного алгоритма, красным^ по данным GPS. Средняя ошибка определения абсолютной скорости составляет 1.2 км/ч.

Проведенный эксперимент показывает, что разработанный алгоритм позволяет определять расстояние до объектов в поле зрения монокулярной камеры со средней относительной погрешностью 4.36% при их удаленности ^ 40 м. Благодаря технологии трекинга можно вычислять относительную скорость движения объектов, а обладая информацией о собственной скорости, можно найти абсолютную скорость объекта. Среднее отклонение значений,

Рисунок 4.1 Пример работы системы.

полученных предложенным алгоритмом, по сравнению с СРБ-трекером, установленным в автомобиле, составила 1.2 км/ч. Полученные результаты позволяют использовать разработанный алгоритм для практического использования в системах помощи водителю.

Рисунок 4.2 Сравнение рассчитанной скорости с данными СРБ.

4.2 Погрузка и разгрузка поддонов автономным беспилотным

погрузчиком

В данном разделе рассматривается эксперимент вычисления положений объектов на наблюдаемой плоскости для задачи автоматической погрузки и разгрузки поддонов беспилотным погрузчиком. Эксперимент был организован и проведен в условиях реального склада с использованием автономного робота. В ходе испытаний алгоритм тестировался на предмет надежности и точности измерения расстояния до поддонов, что критически важно для выполнения складских операций в автоматическом режиме.

4.2.1 Модель беспилотного погрузчика

Разработанный алгоритм определения расстояния до объектов был протестирован на модели беспилотного погрузчика, изображенной на рисунке 4.3а. Данный робот оснащен двумя фронтальными камерами (рисунок 4.36), направленными на вилы, одной задней и одной верхней. Фронтальные камеры отвечают за поиск грузов и чтение напольной разметки при взятии и отпускании поддона. Задняя камера предназначена для поиска препятствий во время движения, так как погрузчик перемещается по складу вилами назад. Верхняя камера считывает метки для навигации по складу. В подобной реализации не представляется возможным использование фронтальных камер в качестве стереосистемы, так как при погрузке груза на вилы погрузчика одна из камер может быть заслонена.

Для трансляции изображений используются камеры Logitech С310 с разрешением изображения 1280 х 720 пикселей по ширине и высоте соответственно и частотой записи 30 кадров/с. Предварительно изображения с камер сжимаются до разрешения 352 х 288 пикселей по ширине и высоте соответственно с целью уменьшения времени обработки. В качестве вычислителя на погрузчик установлен Jetson Orin Nano. Более подробное описание составляющих беспилотного погрузчика и их предназначения представлено в работе [120].

а) Погрузчик. б) Камера.

Рисунок 4.3 Прототип беспилотного погрузчика.

4.2.2 Погрузка и разгрузка поддонов

Приложением разработанного алгоритма определения положений объектов по данным с монокулярной камеры является автоматическая погрузка и разгрузка поддонов. Схематично применение разработанного алгоритма для решения данной задачи изображено на рисунке 4.4. Здесь изображен каждый этап алгоритма автоматической погрузки и разгрузки поддона для беспилотного погрузчика.

/ xreal \

\У real J

Real coordinates

Markup masks

Рисунок 4.4 Схематичное представление алгоритма автоматической погрузки

и разгрузки поддонов.

Предварительный этап заключается в построении матрицы томографии. Для составления множеств соответствующих точек на полу размечается специальная область, которая представляет собой набор меток, расположенных на плоскости пола на одинаковых расстояниях друг от друга (рисунок 4.5). Погрузчик размещается таким образом, чтобы его центр вращения оказался в центре одной из меток на плоскости пола. Далее с фронтальных камер выгружаются кадры размеченной области. На полученных кадрах отмечаются

о О ООО о о

О о ООО о о

Ьх \ Л о ООО о Д.

0\ А, ООО . / 4/6

О 6 ч '6Ч о ,6, - "6 От

О о

Рисунок 4.5 Схематичное изображение области для калибровки камеры. Вид

сверху.

центры каждой видимой метки. Далее по известному положению меток и расстоянию между ними можно рассчитать координаты на плоскости пола.

На следующем этапе изображения с камер подаются в сегментатор и дальнейшие действия определяются исходя из решаемой задачи. При разгрузке поддона по найденной маске места разгрузки определяются углы напольной разметки. Разметка места погрузки представляет собой прямоугольную зону, обозначенную желтыми линиями. Ширина разметки составляет 3 6 см. С помощью матрицы томографии найденные углы переводятся в координаты на плоскости пола. Далее при помощи навигации и информации о границах зоны разгрузки производится подъезд робота и отпускание поддона. Более подробное описание алгоритма навигации приведено в работе [121].

При погрузке поддона сегментируется его фронтальная часть с левой и правой камер. Далее на каждом изображении с помощью метода наименьших квадратов определяется горизонтальная линия, проходящая через центр маски. Данная линия соответствует средней линии фронтальной части поддона. На следующем шаге ищутся крайние точки данных линий, принадлежащие маске. Далее с помощью матрицы томографии определяются координаты точек на плоскости пола. Геометрический центр фронтальной части поддона определяется как середина отрезка между двумя крайними точками. Для корректного подъезда к поддону найденный центр сопоставляется с центром вращения погрузчика. На рисунке 4.6 голубой точкой отмечен геометрический

центр фронтальной части поддона с указанным расстоянием от центра вращения погрузчика. Белым цветом обозначена маска фронтальной части поддона, полученная сегментатором. Центр вращения погрузчика отмечен желтой точкой.

а) Левая камера. б) Правая камера

Рисунок 4.6 Определение положения поддона. Белый сегмент маска фронтальной части поддона, полученная сегментатором. Синяя точка геометрический центр фронтальной части поддона. Желтая точка центр

вращения погрузчика

4.2.3 Результаты эксперимента

Для калибровки камеры и расчета матрицы томографии (3.16) расположим погрузчик на специальной размеченной области. Установим расстояние между метками 0.5 м. Далее отмечаем каждый пиксель, соответствующий метке, и указываем координату данной метки в системе координат, изображенной на рисунке 4.5. Таким образом получаем матрицу томографии для каждой фронтальной камеры.

Рассчитаем погрешность определения расстояний до объектов. Для этого сделаем серию снимков с фронтальных камер в процессе подъезда и отъезда от

зоны погрузки поддона. Далее сравним координаты, рассчитанные с помощью матрицы томографии, и их реальные значения.

В таблице 10 указаны результаты замера удаленности объекта от камеры. Значения удаленности указаны относительно центра вращения погрузчика. В первой колонке указано реальное расстояние, во второй колонке - результаты, полученные с помощью матрицы томографии, в третьей колонке - абсолютная погрешность. При удалении точки от камеры абсолютная погрешность расчетов возрастает. Это связано с погрешностью, вносимой нейросетевыми алгоритмами.

Таблица 10 — Погрешность определения расстояния до объекта.

Ист. значение, м Расчет, м А, м

3.81 3.6 0.21

2.02 1.85 0.17

1.45 1.31 0.14

1.01 0.86 0.15

0.61 0.5 0.11

0.31 0.24 0.07

0 -0.06 0.06

-0.2 -0.25 0.05

На рисунке 4.7 изображена теоретическая, экспериментальная и допустимая погрешность алгоритма определения расстояния до объекта. Допустимая погрешность задается на основе характерных размеров вил, отверстий для вил в поддоне и ширины фронтальной части поддона и составляет 10% от удаленности объекта. Абсолютное значение погрешности, полученной в результате эксперимента, составляет 0.05 - 0.21 м в зависимости от удаленности объекта от погрузчика. Данная величина соотносится с теоретически ожидаемой и попадает в предел допустимой погрешности, которая в свою очередь составляет 0.1 - 0.5 м. При этом скорость обработки трансляций с фронтальных камер при погрузке и разгрузке поддона составляет 20-25 FPS.

Таким образом, разработанный алгоритм может быть использован для решения задачи автоматической погрузки и разгрузки поддонов беспилотным погрузчиком.

Расстояние от камеры, м

Рисунок 4.7 Погрешность работы алгоритма. Красная линия допустимая погрешность. Синяя линия экспериментальная погрешность. Зеленая

линия теоретическая погрешность.

4.3 Определение положения и скоростей движения ТС по данным со стационарной системы наблюдения

В данном разделе описывается эксперимент по измерению мгновенной и средней скорости движения автомобилей. Входными данными системы являлись кадры с монокулярной камеры с временной меткой и информация о координатах нескольких калибровочных проездов, полученных с СРБ-трекера или радара. При этом в данном эксперименте была проведена проверка работоспособности алгоритма в условиях ограниченных вычислительных мощностей. Исследование проводилось в контексте работы дорожной длиннофокусной камеры наблюдения. Параметры монокулярной системы соответствуют значениям, указанных в таблице 7.

4.3.1 Постановка эксперимента

Требуется проверить работоспособность алгоритма для расчета мгновенной скорости ТС с возможностью предварительной калибровки камеры дорожного наблюдения, описанного в разделе 3.2. Предварительный этап калибровки камеры заключается в обработке всех калибровочных проездов, предоставленных для данной видеокамеры. Для настройки камеры прилагаются видео-файлы калибровочных проездов с меткой времени для каждого кадра и файлы с координатами и значениями скорости автомобиля с привязкой ко времени. Необходимо проверить работоспособность алгоритма построения матрицы томографии, описанного в разделе 3.2.3, по данным GPS-трекера или радара. Требования к калибровочному проезду:

— Наличие файла с информацией о координатах и скорости калибровочного ТС в момент времени нахождения в зоне интереса. Частота записей в файле не должна быть меньше 10 записей в секунду.

— Момент времени каждого кадра видеозаписи. Погрешность временных меток не должна превышать 5 мс.

— Частота кадров записи не должна быть ниже 20 FPS.

Далее каждая видеозапись последовательно обрабатывается системой. Для автомобиля с GPS трекером на борту ведется расчет пройденного пути в зависимости от скорости в каждый момент времени. По окончании обработки видео данные с местоположением на каждом кадре и рассчитанные координаты записываются в файл. Данная процедура повторяется для всех калибровочных проездов для конкретной камеры. В итоге полученные данные местоположений в пикселях и координат в единицах измерения длины проходят дальнейшую обработку, в ходе которой строится матрица преобразования.

Входными данными для работы алгоритма после этапа калибровки являются:

— изображение с монокулярной камеры видимого диапазона;

— метка времени.

Необходимо провести исследование влияния разработанных алгоритмов выбора характерной точки, которой соответствует положение ТС на каждом кадре, и корректировки полученных координат, описанных в разделе 3.2.2. В сравнении будут участвовать следующие точки: центр нижней грани

ограничивающей рамки (зеленая точка на рисунке 4.8), проекция центра ГРЗ на нижнюю грань ограничивающей рамки (красная точка на рисунке 4.8) и нижняя дальняя от камеры вершина ограничивающей рамки (синяя точка на рисунке 4.8).

Рисунок 4.8 Характерные точки объекта на нижней грани ограничивающей рамки. Зеленая центр нижней грани, красная проекция центра ГРЗ на нижнюю грань, Синяя дальняя от камеры вершина.

Для распознавания ТС и ГРЗ на изображении используются методы компьютерного зрения, описанные в разделе 2.1 и 2.2. Размер окна для корректировки установим равным 15 точек. Результатом обработки является значения средней и мгновенной скорости для каждого ТС, попавшего в поле зрения монокулярной камеры. Точность полученных значений должна находиться в пределах ограничений, описанных в следующем в разделе.

4.3.2 Расчет метрики

Для оценки качества разработанного алгоритма была введена следующая метрика: расчет считается успешным, если результирующая скорость отклоняется от скорости, выданной измерительным прибором не более чем на величину погрешности прибора плюс 1 км/ч. Например:

— Результат расчета с помощью разработанного алгоритма соответствует 62,2 км/ч, более точный прибор показал 62,0 км/ч при условии, что точность более точного прибора 1 км/ч. Такой результат будет считаться корректным.

— Измеренная предложенным алгоритмом скорость составила 63,1 км/ч. Более точный прибор показал 62,0 км/ч (отклонение 1.1 км/ч), но с учетом возможной погрешности более точного прибора в 1 км/ч - они вычитаются, поэтому оценочное отклонение 0.1 км/ч - результат будет считаться корректным.

— Измеренная скорость составила 64,35 км/ч. Более точный прибор показал 62,0 км/ч (отклонение 2,35 км/ч), даже с учетом максимального влияния погрешности более точного прибора получаем отклонение 1,35 км/ч, что не укладывается в требования, следовательно, результат будет считаться некорректным.

В данном эксперименте для построения матрицы томографии информация о наблюдаемой плоскости была получена с радара. Погрешность определения скорости при помощи данного устройства значительная и составляет ± 1 км/ч, если скорость < 100 км/ч. В таком случае, при подсчете допустимого порога необходимо учесть факт влияния погрешности, вносимой неточным построением матрицы томографии. Ошибка предложенного алгоритма и ошибка результатов применения матрицы томографии являются независимыми, допустимое отклонение определения скорости можно оценить как

£ = 1 + у^.п. + 4.г. = 1 + ~ 2.42,

где £и.п. — погрешность измерительного прибора, £м.г. — погрешность данных, используемых для расчета матрицы томографии.

4.3.3 Методика расчета скорости

Для того, чтобы рассчитать погрешность вычисления скорости движения, нужно определиться, какое значение считать результатом. Согласно выводам, полученным в ходе моделирования траекторий для длиннофокусной камеры, для расчета скорости с точностью ^ 1 км/ч расстояние ТС от камеры не должно превышать 48 м. В нашем случае система устроена таким образом, что все автомобили движутся на камеру. Тогда наиболее достоверные данные о рассчитанной скорости будут в конце траектории. Рассмотрим результат расчета мгновенной скорости согласно алгоритму, описанному в разделах 3.2.2 и 3.2.7 с размером окна 15.

На рисунке 4.9 оранжевая линия соответствует скорости, рассчитанной по положениям объекта на изображении без постобработки, синяя линия скорость, рассчитанная по траектории, усредненной алгоритмом 3.2.2. Красная линия соответствует скорости, измеренной более точным прибором (СРБ-трекер и/или радар). Использование коррекции позволяет существенно снизить влияние случайной ошибки, возникающей при распознавании ТС на изображении.

Так как мы считаем, что в поле зрения камеры автомобиль движется равноускоренно, то его скорость можно представить в виде линейной функции

у — кх + Ь. (4.2)

Коэффициент к определим с помощью метода наименьших квадратов

к=' ;х)(Х;-с), («)

2^=I (хг х)

Ь — у - кос, (4.4)

где х и у — средние значения, которые вычисляются как

N

.

х — у х ^,

П

1=1 1 М

Уг.

П

1= 1

(4.5)

64

1 63

л' Ь и

а 62

ех

о ^

и

61

60

59 1.0

1 г "асчет без коррекцией 'асчет с коррекцией 'егрессия

1 — с — р

Регрессия СР5

... 1 Л

} ■=ч--7 ч ■АгЛ- А,

1 г 1п ГШ -Р *

н

—

1.5 2.0 2.5 3.0 3.5 Время с момента въезда, с

4.0

Рисунок 4.9 Пример расчета скорости. Синяя линия соответствует мгновенной скорости, зеленая линейная регрессия по значениям мгновенной скорости, красная линия скорость измеренная более точным прибором (радар или СРБ-трекер), черная регрессия по значениям более точного прибора, черная пунктирная пределы допустимой погрешности.

Зеленая и черная сплошные линии отображают регрессии, построенные по значениям рассчитанной скорости и по данным с более точного прибора соответственно. Черные пунктирные линии отображают пределы допустимого отклонения. Они получаются путем прибавления заданного порога к регрессии, построенной по данным с более точного прибора. В качестве результата алгоритма для каждого проезда, его скорость приравнивается к значению линейной регрессии в момент времени, соответствующий моменту выезда ТС из зоны интереса (зеленая точка). Истинной скоростью считается значение линейной регрессии, построенной по данным с более точного прибора в тот же момент времени (черная точка).

4.3.4 Результаты эксперимента

Данные для обработки. В ходе эксперимента было получено и обработано 5 видеозаписей длительностью 1-3 минуты с дороги общего пользования с суммарным количеством зафиксированных проездов 285. Помимо этого, было обработано 8 видео с высокоскоростными проездами ТС с установленным на нем GPS трекером.

Распределение скоростей всех проездов, участвовавших в эксперименте, изображено на гистограмме 4.10. Подавляющее большинство ТС двигались со скоростью < 80 км/ч. Это связано с тем, что наибольшую часть данных представляют собой видеозаписи с дороги общего пользования в городе.

Распределение скоростей

70

50 100 150 200 250

Скорость, км/ч

Рисунок 4.10 Распределение скоростей ТС, участвовавших в эксперименте.

Построение матрицы томографии. Рассмотрим пример траекторий, которые использовались для построения матрицы томографии. Для этого рассчитаем траектории движения ТС по каждой полосе в поле зрения камеры.

На рисунке 4.11 изображены траектории проездов для 4 ТС, двигающихся по вероятной прямой, рассчитанные способами, описанными в разделе 3.2.2. Красные точки точки, рассчитанные на основе центра ГРЗ, зеленые середины нижних граней ограничивающих рамок ТС, синие дальние углы ограничивающих рамок ТС. Также для каждого проезда на рисунке

нанесен отрезок, соединяющий начальную и конечную точку траектории. На изображении видно, что вне зависимости от способа расчета точек, все они не лежат на одной прямой. Из этого следует предположение, что для построения корректной матрицы недостаточно использовать только начало и конец траекторий, так как теряется информация об искажении.

Рисунок 4.11 Характерные точки объекта на изображении. Зеленые центры нижней грани, красные проекции центра ГРЗ на нижнюю грань, синие

дальние от камеры вершины.

На рисунке 4.12 изображены графики расчета скорости при использовании различных матриц томографии. Оба графика соответствуют расчетам, проведенным с камеры, изображенной на кадре 4.11. На рисунке 4.126 используется матрица томографии, построенная с учетом всех точек траекторий. Благодаря этому учитывается информации об искажениях, и рассчитанная скорость соответствует скорости с радара.

На рисунке 4.12а используется матрица, построенная только по крайним точкам калибровочных проездов. Расчет мгновенной скорости по этой матрице некорректен. Однако, стоит обратить внимание, что значение средней скорости между двумя расчетами близко друг к другу. Данный факт следует из того, что использование крайних точек траекторий позволяет корректно отобразить

Время с момента еъезда, с Время с момента еъезда, с

а) Матрица, построенная по началам и б) Матрица, использующая

концам траекторий. информацию обо всей траектории.

Рисунок 4.12 Сравнение скоростей при различных матрицах томографии.

Голубая линия соответствует средней скорости движения ТС.

расстояние между ними, но полученная матрица некорректно отображает распределение координат между данными точками.

Влияние выбора характерной точки. Проведено исследование влияния выбора характерной точки, соответствующей каждой детекции ТС, на точность разработанного алгоритма. Были проведены 3 серии расчетов, в каждом из которых использовались точки расчета, описанные в разделе 4.3.1: середина нижней грани ограничивающей рамки, проекция центра номера на нижнюю грань ограничивающей рамки и дальний от камеры угол ограничивающей рамки.

В таблице 11 представлена доля рассчитанных скоростей, ошибка которых не превышает определенный порог, в зависимости от выбранной характерной точки. При построении матрицы томографии для каждого эксперимента использовались соответствующие характерные точки. Как и ожидалось, наименьшую точность показал расчет для точек, находящихся на центре нижней грани ограничивающей рамки. Наибольшее количество рассчитанных скоростей при погрешности в ± 2.42 км/ч было достигнуто при использовании дальнего угла рамки и составило 97.6%. Для более слабых ограничений разница отсутствует.

Таблица 11 Метрика отклонения средней скорости в зависимости от характерных точек.

Дальний у 14)л С исп. ГРЗ Центр нижней грани

< 1 км/ч 57.5% 52.8% 50.9%

< 1.5 км/ч 82.1% 72.6% 71.7%

< 2 км/ч 94.8% 93.9% 92.9%

< 2.42 км/ч 97.6% 96.2% 96.2%

< 3 км/ч 98.6% 98.6% 98.6%

< 3.5 км/ч 99.1% 99.1% 99.1%

< 4 км/ч 99.5% 99.5% 99.5%

Влияние корректировки характерных точек. Рассмотрим влияние алгоритма корректировки характерных точек, описанного в разделе 3.2.2, на расчет скорости. В качестве характерной точки будем использовать дальний нижний угол ограничивающей рамки. На рисунке 4.9 изображен результат расчета скорости. Оранжевая линия соответствует расчету без использования коррекции характерных точек, синяя с коррекцией. В данном случае значение скорости в каждый момент времени рассчитывается по массиву координат с длиной 15. Скорость рассчитанная с использованием алгоритма коррекции получается более гладкой по сравнению со скоростью, рассчитанной без коррекции. В таблице 12 представлена доля рассчитанных скоростей, ошибка которых не превышает определенный порог, в зависимости от применения алгоритма коррекции характерных точек.

Таблица 12 Влияние коррекции характерных точек на расчет средней скорости.

С коррекцией Без коррекции

< 1 км/ч 57.5% 45.3%

< 1.5 км/ч 82.1% 62.1%

< 2 км/ч 94.8% 84.2%

< 2.42 км/ч 97.6% 90.6%

< 3 км/ч 98.6% 95.8%

< 3.5 км/ч 99.1% 96.1%

< 4 км/ч 99.5% 97.5%

При использовании алгоритма коррекции удается увеличить точность расчета скорости движения ТС. Например, для порога ± 2.42 км/ч коррекция точек позволяет увеличить долю правильных ответов с 90.6% до 97.6%. В результате коррекции удается уменьшить влияние случайной ошибки, вызванной алгоритмами распознавания ТС на изображении.

Влияние разрешения изображения. Было обработано два одинаковых 2-х минутных видео: одно из них подавалось в исходном разрешении 2448 х 2048, другое было сжато до 650 х 544 пикселей.

На рисунке 4.13 изображены распределения ошибки расчета скорости в зависимости от разрешения видео, которое подавалось на детектор. 14сходя из распределения можно сделать вывод, что разрешение видео, на котором работает детектор, не оказывает сильного влияния на точность алгоритма.

Рисунок 4.13 Влияние разрешения видеопотока на работу алгоритма.

Влияние времени суток. Проведено исследование влияния времени суток на точность разработанного алгоритма. Были обработаны 3 видеозаписи с одной и тоже камеры. На кадрах 4.14 изображены примеры кадров из обработанных видео.

Кадр 4.14а соответствует съемке в светлое время, когда все автомобили видны четко. На кадре 4.146 запечатлено вечернее время, появляются небольшие засветы от фар. В ночное время 4.14в свет от фар уже значительно влияет на вид автомобиля на изображении.

а) Утро/день. б) Вечер. в) Ночь.

Рисунок 4.14 Примеры кадров с видео, записанных в различное время суток.

На гистограмме 4.15 изображено распределение ошибки расчета скорости в зависимости от времени суток на видео. 14сходя из полученных данных можно сделать вывод, что время суток не оказывает значительного влияния на точность алгоритма при условии, что детектор транспортных средств способен качественно выделять объекты в различных условиях освещенности, не реагируя на включенные фары.

Рисунок 4.15 Распределение ошибки в разное время суток.

Систематическая ошибка дальней полосы. Особенность обрабатываемых видеозаписей заключается в том, что наблюдаемая длина крайней левой полосы, относительно направления движения, значительно меньше остальных полос. Причем зона видимости радара для данной полосы была больше по сравнению с областью, которая попадала в поле зрения камеры. В ходе проверки разработанного алгоритма на всех доступных данных была

выявлена систематическая ошибка определения скорости ТС, перемещавшихся по дальней от обочины полосе. Проезды с данной полосы были обработаны отдельно. Результаты распределения ошибки скорости для ТС в этой полосе представлены на гистограмме 4.16.

Распределение ошибки

п 1 1 1 1 центр ГРЗ I 1 Середина г 1 Даль, угол Допустимый разброс

п 1 || 1 1 1 I 1 * .Л] 1 ]

пп'п1 ш 4 Г

1 • ■■ЦП \щ

I-1-1-Т- -1- 1-1-г

5 -4 -3-2-10 1 2 Ошибка, км/ч

Рисунок 4.16 Распределение ошибки. Крайняя полоса.

Рассчитанная скорость всегда выше в среднем на 3 4 км/ч и не зависит от способа выбора точки подсчета. Это связано с тем, что на момент выезда ТС из поля зрения камеры мы видим его на расстоянии ~ 85 м от камеры. Согласно результатам моделирования, проведенного для длиннофокусной камеры, ошибка вычисления скорости при такой удаленности составляет 3.2 км/ч. Соответственно, данную системную ошибку можно компенсировать. На гистограмме 4.17 изображено распределение ошибки расчета скорости для всех ТС, при учете погрешности для дальней полосы, а метрика для порога 2.42 км/ч составила 97.6%.

Выводы. В результате проведенного эксперимента по проверке работы алгоритма расчета скорости движения транспортных средств по видеоданным с монокулярной камеры были сделаны следующие выводы:

— Определено, что наиболее точное положение ТС на кадре соответствует нижней дальней от камеры вершине ограничивающего прямоугольника. Использование данной точки позволило существенно снизить ошибку в оценке скорости.

Рисунок 4.17

Распределение ошибки. Учет систематической ошибки в дальней полосе.

— Усреднение полученных траекторий движения ТС дало возможность значительно уменьшить влияние случайных ошибок используемых методов распознавания ТС на изображении на итоговый расчет скорости.

— Установлено, что при условии хорошего обучения детектора разрешение изображения и условия освещенности (время суток) практически не влияют на точность работы алгоритма.

— В ходе исследования выявлена системная ошибка при расчете скорости ТС, движущихся по дальней от камеры полосе движения. Данная ошибка связана с частичным обзором дальней полосы и большой удаленностью ТС (~ 85 метров от камеры при выезде из кадра). Полученная погрешность соответствует теоретическим оценкам.

— При компенсации указанной системной ошибки алгоритм продемонстрирова. высокую точность: в диапазон ±2.42 км/ч попадает 97.6% результатов замеров, проведенных на выборке, превышающей 200 проездов.

Таким образом, разработанный алгоритм расчета скорости с использованием нейросетевых методов распознавания объектов и данных монокулярной камеры продемонстрировал стабильную и высокую точность, достаточную для практического применения.

4.4 Автоматическая калибровка камеры для расчета средней скорости движения погрузчиков по складскому помещению.

Для проверки работоспособности алгоритма автоматической калибровки монокулярной системы и расчета допустимых ограничений для стандартных камер со средним полем зрения была проведена серия экспериментов. В качестве входных данных рассматривалось движение погрузчиков с поддоном на вилах по складскому помещению. Была записана серия видеозаписей проездов. В качестве монокулярной системы использовалась конфигурация с параметрами, указанными в таблице 13.

Таблица 13 Параметры монокулярной системы.

Высота установки (Н) 3 м

Угол поля зрения(у) 60°

Разрешение изображения (М х N) 1920 х 1080

Полученные видеозаписи были обработаны с применением алгоритма, описанного в разделе 3.2. В общем было обработано порядка 2 часов видео в реальном времени, которые включают в себя 150 проездов погрузчиков в поле зрения камеры. Для обработки была предварительно создана зона интереса. Данная зона изображена на рисунке 4.18 и соответствует площади, ограниченной красным многоугольником.

Рисунок 4.18 Зона интереса.

Для всех погрузчиков с поддоном на вилах, попавших в данную область, распознавалась маска передней части поддона. Далее маска использовалась для расчета положения погрузчика при использовании алгоритма, описанного в разделе 3.2.4. В качестве наблюдаемой плоскости в данном случае выступала плоскость пола, по которой двигались погрузчики.

4.4.1 Расчет матрицы томографии

В данном эксперименте был протестирован алгоритм автоматической калибровки камеры путем итерационного подбора угла поля зрения, описанного в разделе 3.2.5. Для проведения данного теста мы считаем, что угол заранее неизвестен.

Распределение рассчитанной ошибки (3.24) в зависимости от параметров камеры изображено на рисунке 4.19. Пунктиром обозначены величины критерия для значения углов, при которых полученное расстояние до объекта становилось меньше либо равной высоте установки камеры, чего не может быть. При этом параметр, который удовлетворяет критерию 3.24, с ошибкой £ = 0.12, соответствуют значению у = 64°. Данное значение отмечено красной точкой на изображении 4.19. Синяя звезда соответствует истинному углу поля зрения, для него значение функции ошибки £ = 0.14. Угол поля зрения у отличается на 4°, что составляет 7% от истинного.

Далее рассчитаем матрицу томографии для истинного, указанного в таблице 13, и рассчитанного угла поля зрения монокулярной системы. На рисунке 4.20а изображена координатная сетка, полученная в результате преобразования, описанного в разделе 3.2.6. Данная сетка отображает перспективные искажения, вносимые положением камеры. Каждая ячейка обладает размерами 1x1 м. Заметно, как площадь ячейки уменьшается при увеличении удаленности объекта от камеры вдоль наблюдаемой плоскости. Сетка, отображающая полученную матрицу преобразования, для параметров, полученных алгоритмом автоматической калибровки, изображена на рисунке 4.206. Данная сетка является более сжатой по сравнению с той, которая получилась при использовании истинных параметров. Далее рассмотрим

<

1 1 1 1 . 1

; и >

1 , 1 Г| 1 111 ' и

1 1 1

"Л_ 1

20 30 40 50 60 70 80 90

У

Рисунок 4.19 Распределение рассчитанной ошибки при автоматической