Разработка алгоритмов обработки фото- и видеоданных на базе искусственных нейронных сетей в рамках создаваемого программно-аппаратного комплекса для мониторинга окружающей среды на особо охраняемых природных территориях тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Ефремов Владислав Александрович

• Ефремов Владислав Александрович
• кандидат наук
• 2025

Оглавление диссертации кандидат наук Ефремов Владислав Александрович

Введение

Глава 1. Анализ состояния проблемы

1.1 Задачи компьютерного зрения

1.1.1 Постановка задачи обнаружения объектов

1.1.2 Постановка задачи распознавания объектов

1.1.3 Постановка задачи сегментации объектов

1.1.4 Постановка задачи реидентификации объектов

1.2 Метрики для оценки качества решения задач компьютерного зрения

1.3 Классические наборы данных для решения задач компьютерного зрения

1.4 Наборы данных в области мониторинга природных территорий

по фотоловушкам

1.5 Обзор существующих алгоритмов и методов для автоматической обработки данных с фотоловушек

1.5.1 Классификация без локализации

1.5.2 Многоэтапные подходы: фильтрация и классификация

1.5.3 Одноэтапные подходы: локализация и классификация

1.5.4 Многоэтапные подходы: детекция и классификация

1.5.5 Подходы к получению аннотированных данных

1.5.6 Подходы к реидентификации объектов

1.6 Обзор программных решений интеллектуальной обработки

данных для задачи мониторинга природных территорий

1.6.1 Настольные приложения

1.6.2 Веб-сервисы

1.7 Выводы

Глава 2. Разработка алгоритма предобработки и подготовки данных

для обучения нейросетевых алгоритмов

2.1 Сбор и разметка данных

2.2 Разработка алгоритма удаления дубликатов

2.2.1 Проблема изображений-дубликатов и их источники

2.2.2 Теоретическая постановка и описание алгоритма

каскадной фильтрации дубликатов

2.2.3 Экспериментальная оценка пороговых значений для

первого этапа фильтрации по признакам яркости

2.2.4 Экспериментальная оценка порога расстояния Хэмминга

для второго этапа фильтрации

2.2.5 Экспериментальная оценка порога корреляции для финального этапа поиска дубликатов

2.3 Разработка алгоритма разбиения данных на базе алгоритма удаления дубликатов

2.3.1 Теоретическая постановка алгоритма разбиения данных

2.3.2 Эксперименты по подбору пороговых значений для разбиения данных

2.4 Выводы

Глава 3. Разработка многостадийного нейросетевого алгоритма для нахождения, распознавания и идентификации объектов по материалам с фотоловушек

3.1 Разработка модуля нахождения объектов

3.1.1 Подбор нейросетевого метода для задачи нахождения объектов

3.1.2 Подготовка данных

3.1.3 Эксперимент по оценке переносимости детекторов объектов, предобученных на COCO и Objects365, на

данные с фотоловушек без дополнительного обучения

3.1.4 Экспериментальное исследование влияния стратегии разбиения данных на качество обучения моделей детекторов

3.1.5 Эксперимент по дообучению моделей на наборе данных с фотоловушек, собранных на территории Российской Федерации

3.1.6 Эксперимент по подбору порога уверенности для выбранной модели детектора

3.1.7 Сравнительный анализ качества обнаружения объектов между предложенной моделью и существующими детекторами в области обработки данных с фотоловушек

3.2 Разработка модуля распознавания объектов

3.2.1 Подбор нейросетевого метода для задачи распознавания объектов

3.2.2 Подготовка данных

3.2.3 Экспериментальное исследование влияния стратегии разбиения данных на качество обучения моделей классификаторов

3.2.4 Калибровка порогов уверенности для повышения

точности классификации по классам

3.3 Разработка модуля сегментации объектов

3.3.1 Интерактивная сегментация как метод аннотирования данных для обучения сегментационных моделей

3.3.2 Эксперимент по оценке скорости разметки данных в автоматическом режиме

3.3.3 Подбор нейросетевого метода для задачи отделения объектов от фона

3.3.4 Эксперимент по обучению сегментатора для задачи отделения объектов от фона

3.4 Разработка модуля реидентификации объектов

3.4.1 Выбор нейросетевой архитектуры и функции потерь для задачи реидентификации

3.4.2 Подготовка данных

3.4.3 Сравнительный анализ качества реидентификации на данных различных видов

3.5 Разработка единого многостадийного алгоритма распознавания

объектов по данным с фотоловушек

3.6 Выводы

Глава 4. Разработка алгоритма постобработки данных по

результатам работы многостадийного алгоритма для

создания регистраций

4.1 Описание алгоритма формирования регистраций

4.2 Определение класса регистрации

4.3 Определение количества объектов в регистрации

4.4 Эксперимент по настройке порогов для алгоритма формирования

регистраций

4.5 Экспериментальная оценка эффективности алгоритма

4.6 Выводы

Заключение

Список литературы

Список рисунков

Список таблиц

Приложение А. Патент

Приложение Б. Акт о внедрении программного обеспечения в ФГБУ «Сихотэ-Алинский государственный природный биосферный заповедник имени К. Г. Абрамова»

Введение диссертации (часть автореферата) на тему «Разработка алгоритмов обработки фото- и видеоданных на базе искусственных нейронных сетей в рамках создаваемого программно-аппаратного комплекса для мониторинга окружающей среды на особо охраняемых природных территориях»

Введение

Экологический мониторинг — это одна из главных функций, которая выполняется особо охраняемыми природными территориями (ООПТ) как на территории Российской Федерации, так и во всем мире. Основные задачи, которые стоят перед ООПТ, заключаются в получении информации о состоянии охраняемых природных комплексов, воздействиях природного и антропогенного характера на них, проведении многолетних наблюдений с целью отслеживания состояния природных комплексов и их отдельных компонентов. Ученым-биологам и экологам в рамках ООПТ важно решать задачи по:

1. оценке биоразнообразия в экосистеме;

2. мониторингу популяций и численности;

3. изучению поведения животных;

4. изучению миграции и передвижения популяций;

5. обнаружению и мониторингу браконьерства.

Фотоловушки являются одним из основных инструментов мониторинга состояния ООПТ. Наряду с ними применяются также спутниковые технологии и беспилотные летательные аппараты (БПЛА), особенно актуальные для труднодоступных районов. В настоящее время в России насчитывается около 300 ООПТ федерального значения, на которых установлены фотоловушки. Их количество на одном объекте может варьироваться от нескольких десятков до нескольких сотен. При интенсивной эксплуатации фотоловушек объём накапливаемых данных за один год может превышать 200 ГБ на одну ООПТ. Накопленные материалы используются зоологами и специалистами по охране природы для решения прикладных задач: автоматического определения вида животных, пола особей, а в отдельных случаях — индивидуальной идентификации животных по внешним признакам.

В настоящее время в большинстве заповедников обработка фото-и видеоматериалов осуществляется вручную, без применения средств автоматизированной обработки данных. Лишь в отдельных случаях используются стандартные графические программы [1] для предварительного отбора информативных кадров, подлежащих последующему экологическому анализу. Следует учитывать, что фотоловушки могут срабатывать не только при появлении объектов интереса (животных, людей, техники), но и под действием природных

факторов — таких как ветер, дождь, движение листвы и т. д. В результате значительная часть снимков оказывается нерелевантной, что приводит к существенным трудозатратам на ручную сортировку изображений. Учитывая ежегодный рост числа установленных фотоловушек на территориях ООПТ, объём собираемых данных постоянно увеличивается, что напрямую влияет на время их обработки и усложняет задачи анализа.

Похожие сложности возникают при использовании БПЛА или спутников для учёта численности животных. На одном аэрофотоснимке может содержаться от сотен до тысяч объектов, либо, наоборот, — объекты могут встречаться крайне редко и слабо выделяться на фоне, что значительно затрудняет их поиск и подсчёт, особенно в условиях экспедиционных работ. Всё это формирует острую потребность в автоматизации процессов обработки фото- и видеоданных с целью снижения временных и трудовых затрат [2; 3].

В мировой практике уже предпринимаются шаги в этом направлении: разработан ряд подходов к автоматизации обработки данных с фотоловушек, БПЛА и спутников, что подтверждается множеством опубликованных научных работ. Наибольшую популярность за последние годы получили методы на основе искусственных нейронных сетей, продемонстрировавшие высокую эффективность в задачах распознавания объектов. Некоторые из этих решений реализованы в виде программных комплексов и веб-сервисов [4; 5], выполняющих функции накопления, хранения, управления и интеллектуальной обработки экологических данных. Несмотря на глубокую проработанность решений, многие из них не отвечают современным вызовам ООПТ как на территории Российской Федерации, так и за рубежом, поэтому возникает необходимость в создании нового решения, которое бы позволило преодолеть ограничения, среди которых выделяются следующие:

1. Отсутствие в существующих программных решениях алгоритмов подготовки и отбора данных для повышения эффективности работы нейросетевых методов в задаче дистанционного мониторинга.

2. Устаревшие методы и алгоритмы, на которых базируются современные системы по распознаванию объектов для дистанционного мониторинга, уступающие по численным и качественным показателям современным подходам.

3. Отсутствие представления о данных с ООПТ Российской Федерации в большинстве современных программных комплексов и веб-сервисов

из-за нехватки открытых датасетов, что снижает качество распознавания объектов.

4. Отсутствие возможности дообучения нейросетевых алгоритмов под видовое разнообразие конкретного ООПТ для более качественного распознавания и подсчета особей.

5. Отсутствие стабильного интернет-соединения на большей части территорий ООПТ в России, что делает невозможной автоматическую передачу больших объёмов данных для обработки на сторонних ресурсах и требует разработки решений для локальной обработки.

Учитывая вышеупомянутые проблемы и недостатки, с которыми сталкиваются инженеры и учёные, в исследовании предлагается последовательная (каскадная) система обнаружения, классификации, при необходимости — сегментации, а в отдельных случаях — реидентификации объектов по фото-и видеоматериалам. Система включает в себя разработанные алгоритмы предобработки, обработки и постобработки данных с целью повышения количественных и качественных показателей её работы в целом.

Целью диссертации является сокращение временных и человеческих трудозатрат за счет автоматизации процесса обработки фото- и видеоданных для дистанционного мониторинга на особо охраняемых природных территориях.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Собрать и разметить данные с фотоловушек для использования в разработке и валидации алгоритмов предобработки, многостадийной нейросетевой обработки и интеллектуальной постобработки фото- и видеоматериалов.

2. Разработать алгоритм подготовки данных для обучения разрабатываемого многостадийного нейросетевого алгоритма.

3. Разработать многостадийный алгоритм на базе искусственных нейронных сетей, одновременно решающий задачи обнаружения, классификации, при необходимости — сегментации, а в отдельных случаях — реидентификации объектов по фото- и видеоматериалам.

4. Разработать алгоритм интеллектуальной постобработки данных по результатам работы многостадийной системы.

5. Разработать программное обеспечение для автоматической обработки данных с фотоловушек с возможностью дообучения системы под видовое разнообразие особо охраняемой природной территории.

Научная новизна:

1. Разработан новый алгоритм предобработки и разбиения данных, отличающийся использованием перцептивного хэширования и агломеративной кластеризации для удаления дубликатов и формирования выборок.

2. Разработан многостадийный нейросетевой алгоритм, отличающийся последовательным решением задач детекции, классификации, сегментации и реидентификации объектов по фото- и видеоматериалам.

3. Разработан новый алгоритм постобработки данных, использующий метаинформацию и предсказания многостадийного алгоритма для формирования регистраций, обеспечивающих уточнение результатов обработки и корректный подсчёт объектов на изображениях.

Практическая значимость результатов диссертации заключается в создании комплекса алгоритмов, охватывающего этапы предобработки, основной обработки и постобработки фото- и видеоданных, направленных на эффективное решение задач обнаружения, классификации, сегментации и идентификации объектов. Разработанные алгоритмы ориентированы на применение в задачах дистанционного мониторинга природных территорий, в том числе с использованием фотоловушек. Результаты исследования реализованы в составе программно-аппаратного комплекса и защищены патентом Российской Федерации [6], а также внедрены на практике, что подтверждается актом о внедрении, выданным Федеральным государственным бюджетным учреждением «Сихотэ-Алинский государственный природный биосферный заповедник имени К. Г. Абрамова».

Методология и методы исследования. В исследовании используются методы цифровой обработки сигналов, оптимизации, машинного и глубокого обучения, алгоритмы компьютерного зрения. Реализация алгоритмов и программно-аппаратного комплекса, осуществлялась при помощи языков программирования Python и C#.

Основные положения, выносимые на защиту:

1. Алгоритм предобработки и подготовки данных на примере задачи поиска дубликатов и разбиения выборки, основанный на перцептивном хэшировании и агломеративной кластеризации.

2. Многостадийный алгоритм обнаружения и распознавания объектов по материалам с фотоловушек, решающий задачи:

а) обнаружения объектов (детекция);

б) распознавания объектов (классификация);

в) отделения объектов от фона (сегментация);

г) идентификации до особи (реидентификация).

3. Алгоритм постобработки данных, формирующий регистрации на основе метаинформации и предсказаний многостадийного алгоритма с целью уточнения его результатов и последующего подсчёта особей.

Достоверность полученных результатов обеспечивается успешными испытаниями, проведенными непосредственно на ООПТ по интеллектуальной обработке данных с фотоловушек.

Апробация работы. Основные результаты работы докладывались на:

• 65-ой Всероссийской научной конференции МФТИ, г Долгопрудный, 2022 г;

• IV Всероссийской научной конференции: «Биоразнообразие экосистем крайнего севера: инвентаризация, мониторинг, охрана», Сыктывкар, 2023 г.;

• XII Международной научно-практической конференции «Морские исследования и образование» MARESEDU-2023, г Москва, 2023 г.;

• Hyrbid methods of modeling and optimization in complex systems (HMM0CS-II-2023), г. Красноярск, 2023 г;

• 2-ой Школе-семинаре «Заповедная фотоловушка 2023», Центрально-Лесной государственный заповедник, 2023 г.;

• 26th International Conference on Digital Signal Processing and its Applications (DSPA), Moscow, Russian Federation, 2024 г.;

• 8th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Калининград, 2024 г.

Личный вклад. Основные научные результаты диссертации получены лично автором. Положения, выносимые на защиту, сформулированы на их основе. Постановка задач, обсуждение результатов и планирование

экспериментов осуществлялись совместно с научным руководителем и научным консультантом. Подготовка публикаций велась в соавторстве; при этом ведущий вклад в разработку алгоритмов, проведение экспериментов и написание текста принадлежит диссертанту.

Публикации. Основные результаты по теме диссертации изложены в 10 печатных изданиях, 6 из которых изданы в журналах, рекомендованных ВАК, 3 — в периодических научных журналах, индексируемых Web of Science и Scopus, 2 — в тезисах докладов. Зарегистрирован 1 патент.

Объем и структура работы. Диссертация состоит из введения, 4 глав, заключения и 2 приложений. Полный объём диссертации составляет 184 страницы, включая 45 рисунков и 35 таблиц. Список литературы содержит 170 наименований.

Глава 1. Анализ состояния проблемы

1.1 Задачи компьютерного зрения

Компьютерное зрение — это область искусственного интеллекта, направленная на разработку методов и алгоритмов для анализа и интерпретации визуальной информации. Основная цель компьютерного зрения — научить компьютеры понимать изображения и видео так, как это делает человек. Существует множество задач, решаемых в рамках компьютерного зрения, каждая из которых требует применения специфических алгоритмов и методов. В данном разделе рассматриваются ключевые задачи компьютерного зрения, такие как:

- обнаружение объектов (раздел 1.1.1);

- распознавание объектов (раздел 1.1.2);

- сегментация объектов (раздел 1.1.3);

- реидентификация объектов (раздел 1.1.4).

Далее будут рассмотрены основные формулировки этих задач и подходы к их решению.

Задача обнаружения объектов заключается в нахождении и классификации объектов, присутствующих на изображении, с использованием ограничивающих рамок. Пусть имеется выборка из N изображений:

где:

• xn Е X С RHхС — n-е изображение:

- H и W — высота и ширина изображения;

- C — количество каналов (например, 3 для RGB).

• Bn — множество аннотированных объектов на n-м изображении:

1.1.1 Постановка задачи обнаружения объектов

(1.1)

(1.2)

где:

- Mn — количество объектов на n-м изображении;

ci,n £ {1,... ,K} — класс ¿-го объекта на n-м изображении;

- bi,n = (xi,n,Vi,n>wi,n>hi,n) £ R4 — координаты ограничивающей рамки ¿-го объекта, где (xin, yin) — это координаты центра рамки, а (wi, n, hi, n) — ее ширина и высота.

Нейросетевая модель детектора параметризуется вектором параметров 6. Для входного изображения x модель возвращает множество предсказанных объектов:

B(x, 6) = {(Ь3 ,cj ,Sj (1.3)

где:

• M = M(x; 6) — количество объектов, предсказанных моделью;

• bj = (Xj, Vj, Wj ,hj) — предсказанные координаты ограничивающей рамки j-го объекта;

• Cj £ {1, 2,..., K} — предсказанный класс j-го объекта;

• Cj £ [0,1] — скалярная величина, интерпретируемая как вероятность того, что в ограничивающей рамке имеется объект.

Таким образом, детектор можно рассматривать как функцию

то

f (•; 6): (R4 } х [0,1])m , (1.4)

m=0

которая отражает изображение x в набор предсказанных рамок и их классов.

Задача детекции формулируется как минимизация отрицательного логарифма правдоподобия истинных аннотаций B, имеющихся для каждого изображения xn, относительно параметров модели детектора 6. Формально:

N

6 = argmin У2 [- logpe(Bn | xn)] , (1.5)

6

n=l

где p6(Bn | xn) — модельное распределение (или правдоподобие), описывающее, с какой вероятностью модель с параметрами 6 «объясняет» истинные объекты Bn на изображении xn.

На практике logp6(Bn | xn) разбивается на несколько компонент, каждая из которых представляет из себя определенную функцию потерь:

1. Классификационная компонента. Целью является корректная классификация каждой предсказанной ограничивающей рамки в один из K классов. Для этой задачи обычно применяется кросс-энтропийная функция потерь [7] или ее варианты (например Focal Loss [8]). Пусть С обозначает вектор логитов (или вероятностей), предсказываемых моделью, а с — истинную метку класса. Тогда соответствующую функцию потерь можно обозначить как:

Lcis (С, с). (1.6)

2. Регрессионная компонента. Требуется обеспечить, чтобы координаты b = (x,y,W,h) были как можно ближе к истинным b = (x,y,w,h). Для этих целей нередко используют функцию потерь Smooth L1 [9], а также IoU-ориентированные функции, такие как DIoU [10], GIoU [11], CIoU [12] и т. д. Пусть обозначение регрессионной компоненты будет иметь вид:

Lbox (м). (1.7)

3. Объектная компонента. Во многих архитектурах детекторов, в частности в семействе YOLO, явным образом вводится «объектная компонента» С. Ее значение стремится к 1, если в ограничивающей рамке присутствует объект, и к 0, если рамка соответствует фону. Иногда эта компонента включается в классификационную компоненту, а иногда задается отдельным слагаемым:

Lobj (c,s). (1.8)

Общая функция потерь для всего набора данных из N изображений может быть записана в виде суммы по всем изображениям и по всем истинным и/или предсказанным объектам (в зависимости от механизма сопоставления истинных и предсказанных ограничивающих рамок):

N Mn

L(6) = ^ ^ [Lcls (ci,n(6), ci,n) + Lbox ( bi,n{Q), + Lobj (c i,n(6),si,n) + Ladd(6)

n=1 i=1

(19)

где ci nn(6),bin(6),cin(6) — предсказания модели детектора с параметрами 6, сопоставленные с истинным г-м объектом на n-м изображении; Ladd (6) — дополнительное слагаемое, которое может:

1. учитывать штрафы за «несопоставленные» рамки (фон) со слишком высокой уверенностью;

2. включать регуляризационные слагаемые, связанные с количеством предсказанных ограничивающих рамок или с их геометрией;

3. включать регуляризаторы или штрафы, связанные со структурой нейронной сети детектора.

Таким образом, задача нахождения объектов на изображениях сводится к тому, чтобы подобрать параметры модели детектора 6 так, чтобы минимизировать функцию потерь £(6).

Задача распознавания объектов заключается в определении, к какому из заданного конечного набора классов относится каждое входное изображение. Пусть имеется выборка из N изображений:

• xn £ X С RHхС — n-е изображение:

- H и W — высота и ширина изображения;

- C — количество каналов (например, 3 для RGB).

• yn £ {1, • • •, K} — класс изображения xn среди K возможных категорий. Пусть имеется нейросетевая модель классификатора f (•; 6), задаваемая

вектором параметров 6. На вход модели подается изображение x, а на выходе она возвращает предсказание в виде вероятностного распределения по K классам:

1.1.2 Постановка задачи распознавания объектов

{(xn, yn)}N=1,

(1.10)

где:

Mx) = (pe(y = 1 1 x),pe(y = 2 1 x),... ,pe(y = K 1 x)), (1.11)

где:

к

p6 (V = k 1 x) £ [0,1], (y = к 1 x) = L

(1.12)

f (•; 6): X ^ [0,1]

(1.13)

отображает входное изображение x в вероятности принадлежности к каждому из K классов.

Задачу классификации можно сформулировать как задачу минимизации отрицательного логарифма правдоподобия истинных классов yn для каждого изображения xn относительно параметров модели классификатора 6:

N

6 = argminVV-logpQ{yn I Xn)] , (1-14)

6

n=1

где p6 (yn | xn) — это модельная оценка (или правдоподобие) того, что изображение xn принадлежит классу yn.

На практике, в задаче классификации выражение logp6(yn | xn) можно представить в виде суммы нескольких слагаемых, каждое из которых соответствует определённой функции потерь.

1. Классификационная компонента. Это основная часть, отвечающая за вероятность правильного предсказания класса. Обычно реализуется через кросс-энтропийную функцию потерь [7]:

Lcis (pe(xn),yn) = X{yn = k} logp&(y = k I xn), (1.15)

k=i

где l{yn = k} — индикаторная функция, принимающая значение 1, если yn = k и 0 — в противном случае. 2. Регуляризационная компонента. Вспомогательная часть, цель которой — регуляризация параметров модели (например L1- или Ь2-нормы). Пусть обозначение этой компоненты будет иметь вид:

Ladd (6) • (1.16)

Таким образом, функция потерь для классификации на всем наборе данных из N изображений может быть записана в следующем виде:

N

L(6) =J2 Lcls (pe(xn),yn)+ Ladd(6) (1.17)

n=1

Следовательно, задача классификации сводится к подбору параметров модели 6 таким образом, чтобы минимизировать функцию потерь £(0).

1.1.3 Постановка задачи сегментации объектов

Сегментация изображений представляет собой задачу компьютерного зрения, в которой необходимо определить, к какой категории или объекту относится каждый пиксель на изображении. Существует несколько ключевых разновидностей задач сегментации:

• Семантическая сегментация: каждый пиксель классифицируется в один из заданных классов, однако объекты не различаются между собой.

• Инстанс-сегментация: не только выполняется семантическая разбивка, но и объекты внутри одного класса разделяются на отдельные экземпляры (инстансы).

• Паноптическая сегментация: объединяет идею семантической и инстанс-сегментации, включая как объектные так и фоново-сцепленные категории в едином предсказании.

В данной работе далее рассматривается инстанс-сегментация.

Пусть дана выборка из N изображений:

где:

• xn £ X С RHхС — п-е изображение:

- H и W — высота и ширина изображения;

- C — количество каналов (например, 3 для RGB).

• In — множество аннотированных объектов (инстансов) на п-ом изображении:

- Мп — количество объектов (инстансов) на п-ом изображении;

{1,... ,К} — класс ¿-го объекта из К возможных;

- = (х{п,угп,Н{;П) £ К4 — ограничивающая рамка ¿-го объекта с координатами центра, шириной и высотой;

- т, п — маска объекта на ¿-ом изображении, которая может задавать либо в виде двумерной матрицы {0,1}я, либо в виде полигональных контуров.

(118)

(119)

где:

Пусть нейросетевая модель сегментатора параметризуется вектором параметров 6. Для входного изображения x модель возвращает множество предсказанных объектов (инстансов):

I(x; 6) = {( bj,Cj )}M=i, (1.20)

где:

• M = M(x; 6) — количество предсказанных объектов;

• bj = (x,, y j, w, ,hj) — координаты ограничивающей рамки;

• Cj G {1,..., K} — предсказанный класс j-го объекта;

• Cj G [0,1] —уверенность сегментатора в наличии объекта;

• mj — предсказанная маска j-го объекта.

Таким образом, сегментатор можно рассматривать как функцию:

то

f (•; 6) : X ^ \J (R4 x{1,...,K }х [0,1] х M)m , (1.21)

m=0

где M обозначает множество всех возможных масок размера H х W.

Задача инстанс-сегментации формулируется как минимизация отрицательного логарифма правдоподобия истинных аннотаций I, имеющихся для каждого изображения xn относительно параметров нейросетевого сегментатора 6.

N

6 = argmin У2 [- logpe (In | xn)] . (1.22)

6

n=1

Функция правдоподобия p6(In | xn) отражает, насколько хорошо модель с параметрами 6 «объясняет» набор истинных объектов (включая их сегментационные маски) на n-ом изображении.

Аналогично задаче детекции, logp6(In | xn) представляется в виде суммы нескольких компонент, каждая из которых описывается определенной функцией потерь. Сегментационная функция потерь включает в себя все компоненты, присущие функции потерь в задаче детекции (классификационная, регрессионная и объектная), а также дополняется сегментационной компонентой:

Lmask = (m,m), (1.23)

обеспечивающей, максимальное совпадение предсказанной маски объекта ш с истинной маской ш. Чаще всего в качестве функции потерь используют бинарную

кросс-энтропию [7] по пикселям маски, а также Dice Loss [13] или фокальную функцию потерь (Focal Loss) [8] для борьбы с дисбалансом классов. Для повышения производительности нейросетевых сегментаторов часто применяют комбинацию функций потерь, например, кросс-энтропию и Dice Loss.

Объединяя все компоненты, итоговую функцию потерь для всего набора данных {(xn, M.n)}n=\ можно записать в следующем виде:

vn) }n=

N Mn

£(0) = У^У^ Lcls(Ci,п(0), с, п) + ^ЬохД,п(0)Л , п)

п=11=1 1 (1.24)

+ ^оЪ^ С ',п(0), в',п) + Lmask(mi , п(0),т' , п) + Ladd(0),

где (Сг , п(0),Ьг, п(0), С г,п(0),тг,п(0)) — предсказания модели для ¿-го объекта на п-ом изображении, сопоставленные с истинными (сг,п,Ьг,п, вгп,тг,п); Ьа^(0) — дополнительная компонента, которая, как и в задаче детекции, может выступать в роли регуляризационного или штрафного слагаемого.

Таким образом, задача инстанс-сегментации объектов на изображении сводится к подбору параметров нейросетевого сегментатора 0 так, чтобы минимизировать функцию потерь £(0).

1.1.4 Постановка задачи реидентификации объектов

Задача реидентификации направлена на поиск или сопоставление одного и того же объекта (человека, автомобиля, животного и т. п.) на разных изображениях, или кадрах видео, полученных, как правило, с разных камер или в разное время суток. В отличие от классической классификации, реидентификация часто предполагает способность сопоставлять векторные представления объектов (далее — эмбеддинги) и отличать их от эмбеддингов других объектов, а не просто выбирать «самый вероятный класс» из фиксированного набора.

Пусть задана выборка из N изображений:

{(хп,УпС=1, (1.25)

где:

• хп £ X С инхС — п-е изображение;

• уп Е {1, 2, 3,...,К} — уникальный идентификатор объекта (ГО), который принадлежит изображению хп. Всего имеется К различных идентификаторов в обучающем наборе.

Задача реидентификации часто формулируется следующим образом: необходимо соотнести изображения одного и того же объекта (т. е. иметь возможность определить, что (х{,у{) и (х^) принадлежат одному объекту, если (у1 = yj), и отличить их от изображений других объектов, если У = yj). Обозначим через Б размерность векторного пространства признаков.

Пусть нейросетевая модель реидентификатора /(•; 6) параметризована вектором параметров 6.

Существуют два основных подхода к реидентификации объектов:

1. Классификационный

2. Метрико-ориентированный

Классификационный подход

В классификационном подходе модель возвращает распределение по К классам, то есть:

где к Е {1,..., К}.

В процессе обучения модель стремится различать конкретные идентификаторы из обучающей выборки (аналог задачи классификации). На этапе инференса нейронной сети зачастую берется не только результат с максимальной вероятностью класса, но и выходной эмбеддинг последнего (до применения функции softmax), что позволяет делать прогнозы для новых, ранее не встречавшихся объектов — на основе евклидова или косинусного расстояния.

Как было показано в разделе 3.2, задача классификации сводится к минимизации функции потерь, которая состоит из классификационной и дополнительной компонент. В качестве классификационной составляющей зачастую используется кросс-энтропия [7]:

где Сп(6) — вектор предсказанных вероятностей классов.

В задаче реидентификации на основе классификации вместо кросс-энтропии могут использоваться более специализированные функции, например: А^ойтах [14], АМ^ойтах [15], Аг^асе [16], CosFace [17] и т. д.

Р6(У = к \ х)

(1.26)

^ (Сп(6),Уп) ,

(1.27)

Метрико-ориентированный подход

В метрико-ориентированном подходе модель отображает каждое изображение x в вектор эмбеддинга:

f (x; 6) G Rd, (1.28)

так, что близость между двумя векторами f (xi, 6) и f (xj, 6) должна быть высокой, если (yi = yj) (один и тот же объект), и низкой, если (yi = yj). В данном подходе в качестве функций потерь выступают Triplet Loss [18], Contrastive Loss [19], Circle Loss [20] и т. д. На примере Contrastive Loss задача реидентификации объектов сводится к минимизации функции потерь таким образом, чтобы сближать эмбеддинги одного и того же объекта и отдалять — разных. Формально:

N N

0 = argmin^^ ¿metric (f (xi; 6),f (xj; 6), 5[yi,yj]), (1.29)

i = 1 j = 1

где 6 [угу] = 1, если уг = у3, и 0 — иначе. Комбинированный подход

На практике нередко комбинируют классификационную функцию потерь с метрической, чтобы одновременно обеспечивать разнесенность эмбеддингов по классам и регулировать расстояние эмбеддингов внутри класса и между классами:

N

£(0) = ^ Ь^ (Сп(0),уп) + А • ¿те1по(0), (1.30)

п=1

где А — балансирующий коэффициент.

Список литературы диссертационного исследования кандидат наук Ефремов Владислав Александрович, 2025 год

Список литературы

1. Формирование регистраций животных на основе постобработки данных фотоловушек [Электронный ресурс] / В. Ефремов [и др.] // Экосистемы. —

2023.-Т. 34.-С. 51-58.

2. Возможности использования нейросетей для мониторинга атлантического подвида моржей odobenus rosmarus rosmarus на о. Матвеев / В. А. Ефремов [и др.] // IV Всероссийская научная конференция: «Биоразнообразие экосистем крайнего севера: инвентаризация, мониторинг, охрана». —

2024.-С. 387-393.

3. System for Automatic Counting of Atlantic Walruses Using Neural Networks from UAV Aerial Photography Images / V. Efremov [et al.] // 2024 26th International Conference on Digital Signal Processing and its Applications (DSPA). — IEEE. 2024. — P. 1—6.

4. Огурцов, С. Применение технологий искусственного интеллекта при обработке изображений с фотоловушек: принципы, программы, подходы [Электронный ресурс] / С. Огурцов, В. Ефремов, А. Леус // Принципы экологии. — 2024. — № 1. — С. 4—37.

5. Огурцов, С. Обзор программного обеспечения для обработки и анализа данных с фотоловушек: нейронные сети и веб-сервисы / С. Огурцов, В. Ефремов, А. Леус // Russian Journal of Ecosystem Ecology. — 2024. — Т. 9, № 1.

6. Заявка 2022124306 Рос. федерация, МПК G 10/20. Система анализа данных, считываемых с помощью фотоловушек, для оперативного дистанционного мониторинга природных территорий [Текст] / А. В. Леус [и др.] (Российская Федерация) ; федеральное государственное автономное образовательное учреждение высшего № 2000108705/28 ; заявл. 14.09.2022 ; опубл. 04.07.2023, Бюл. № 19 (Рос. Федерация). — 12 с.

7. Bishop, C. M. Neural networks for pattern recognition / C. M. Bishop. — Oxford university press, 1995.

8. Focal loss for dense object detection / T.-Y. Lin [et al.] // Proceedings of the IEEE international conference on computer vision. — 2017. — P. 2980—2988.

9. Girshick, R. Fast r-cnn / R. Girshick // Proceedings of the IEEE international conference on computer vision. — 2015. — P. 1440—1448.

10. Distance-IoU loss: Faster and better learning for bounding box regression / Z. Zheng [et al.] // Proceedings of the AAAI conference on artificial intelligence. Vol. 34. - 2020. - P. 12993-13000.

11. Generalized intersection over union: A metric and a loss for bounding box regression / H. Rezatofighi [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2019. — P. 658—666.

12. Enhancing geometric factors in model learning and inference for object detection and instance segmentation / Z. Zheng [et al.] //. Vol. 52. — IEEE, 2021. — P. 8574—8586.

13. Milletari, F. V-net: Fully convolutional neural networks for volumetric medical image segmentation / F. Milletari, N. Navab, S.-A. Ahmadi // 2016 fourth international conference on 3D vision (3DV). — Ieee. 2016. — P. 565—571.

14. Angular softmax loss for end-to-end speaker verification / Y. Li [et al.] // 2018 11th International Symposium on Chinese Spoken Language Processing (ISCSLP). - IEEE. 2018. - P. 190-194.

15. Additive margin softmax for face verification / F. Wang [et al.] // IEEE Signal Processing Letters. — 2018. — Vol. 25, no. 7. — P. 926—930.

16. Arcface: Additive angular margin loss for deep face recognition / J. Deng [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2019. — P. 4690—4699.

17. Cosface: Large margin cosine loss for deep face recognition / H. Wang [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 5265—5274.

18. Schroff, F. Facenet: A unified embedding for face recognition and clustering / F. Schroff, D. Kalenichenko, J. Philbin // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2015. — P. 815—823.

19. Hadsell, R. Dimensionality reduction by learning an invariant mapping / R. Hadsell, S. Chopra, Y. LeCun // 2006 IEEE computer society conference on computer vision and pattern recognition (CVPR'06). T. 2. — IEEE. 2006. — C. 1735-1742.

20. Circle loss: A unified perspective of pair similarity optimization / Y. Sun [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2020. — P. 6398—6407.

21. Sokolova, M. A systematic analysis of performance measures for classification tasks / M. Sokolova, G. Lapalme // Information Processing and Management. — 2009. — July. — Vol. 45. — P. 427—437.

22. The Pascal Visual Object Classes (VOC) Challenge. / M. Everingham [et al.] // Int. J. Comput. Vis. — 2010. — Vol. 88, no. 2. — P. 303—338. — URL: http: //dblp.uni-trier.de/db/journals/ijcv/ijcv88.html#EveringhamGWWZ10.

23. Microsoft COCO: Common Objects in Context. / T.-Y. Lin [et al.] // CoRR. — 2014. — Vol. abs/1405.0312. — URL: http://dblp.uni-trier.de/db/journals/corr/ corr1405.html#LinMBHPRDZ14.

24. Scalable Person Re-identification: A Benchmark / L. Zheng [et al.] //2015 IEEE International Conference on Computer Vision (ICCV). — 2015. — P. 1116—1124.

25. ImageNet: A large-scale hierarchical image database / J. Deng [et al.] // 2009 IEEE Conference on Computer Vision and Pattern Recognition. — 2009. — P. 248—255.

26. ImageNet Large Scale Visual Recognition Challenge / O. Russakovsky [et al.] // International Journal of Computer Vision. — 2014. — Vol. 115.

27. The Open Images Dataset V4: Unified Image Classification, Object Detection, and Visual Relationship Detection at Scale / A. Kuznetsova [et al.] // International Journal of Computer Vision. — 2020. — Vol. 128.

28. Objects365: A Large-Scale, High-Quality Dataset for Object Detection / S. Shao [et al.] // 2019 IEEE/CVF International Conference on Computer Vision (ICCV). - 2019. - P. 8429-8438.

29. Gupta, A. LVIS: A Dataset for Large Vocabulary Instance Segmentation / A. Gupta, P. Dollár, R. B. Girshick //2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). — 2019. — P. 5351—5359. — URL: https://api.semanticscholar.org/CorpusID:195441339.

30. Gray, D. Evaluating Appearance Models for Recognition, Reacquisition, and Tracking / D. Gray, S. Brennan, H. Tao // 10th IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS). — 09/2007/2007.

31. Scalable Person Re-identification: A Benchmark/L. Zheng [etal.] //2015 IEEE International Conference on Computer Vision (ICCV). — 2015. — P. 1116—1124.

32. A Deep Learning-Based Approach to Progressive Vehicle Re-identification for Urban Surveillance / X. Liu [et al.] //. Vol. 9906. — 10/2016. — P. 869—884.

33. VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the Wild / Y. Lou [et al.] //2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). — 2019. — P. 3230—3238.

34. Machine learning to classify animal species in camera trap images: Applications in ecology / M. A. Tabak [et al.] // Methods in Ecology and Evolution. — 2019. — Vol. 10, no. 4. — P. 585—590. — URL: https://doi.org/10.1111/2041-210X. 13120.

35. Idaho Camera Traps [Electronic Resource] / LILA BC. — URL: lila. science/ datasets/idaho-camera-traps/ (visited on 02/14/2025).

36. Beery, S. Recognition in Terra Incognita / S. Beery, G. V. Horn, P. Perona // Computer Vision - ECCV 2018 - 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part XVI. —2018. — P. 472—489. — URL: https://doi.org/10.1007/978-3-030-01270-0%5C_28.

37. Animal detection from highly cluttered natural scenes using spatiotemporal object region proposals and patch verification / Z. Zhang [et al.] // IEEE Transactions on Multimedia. — 2016. — Vol. 18, no. 10. — P. 207—2092.

38. WCS Camera Traps [Electronic Resource] / Wildlife Conservation Society. — URL: https://lila.science/datasets/wcscameratraps (visited on 02/14/2025).

39. Data from: Snapshot Serengeti, high-frequency annotated camera trap images of 40 mammalian species in an African savanna / A. Swanson [et al.]. — 2015. — URL: https://doi.org/10.5061/dryad.5pt92.

40. Monitoring the mammalian fauna of urban areas using remote cameras and citizen science / V. Anton [et al.] // Journal of Urban Ecology. — 2018. — Vol. 4, no. 1. — juy002. — URL: https://doi.org/10.1093/jue/juy002.

41. Island Conservation Camera Traps [Electronic Resource] / LILA BC. — URL: https : / / lila . science / datasets / channel - islands - camera - traps/ (visited on 02/17/2025).

42. Channel Islands Camera Traps 1.0 [Electronic Resource] / The Nature Conservancy. — 2021. — URL: https : / / lila . science / datasets / island -conservation- camera- traps/ (visited on 02/17/2025).

43. Yousif, H. Dynamic Programming Selection of Object Proposals for Sequence-Level Animal Species Classification in the Wild / H. Yousif, R. Kays, Z. He // IEEE Transactions on Circuits and Systems for Video Technology. — 2019.

44. Northern and Central Annamites Camera Traps 2.0 [Electronic Resource] / IUCN SSC Asian Wild Cattle Specialist Group's Saola Working Group. — 2021. — URL: https://lila.science/datasets/swg-camera-traps (visited on 02/17/2025).

45. An evaluation of platforms for processing camera-trap data using artificial intelligence / J. Velez [h gp.] // Methods in Ecology and Evolution. — 2023. — T. 14, № 2. — C. 459—477. — URL: https://besjournals.onlinelibrary.wiley. com/doi/abs/10.1111/2041-210X.14044.

46. Trail Camera Images of New Zealand Animals [Electronic Resource] / LILA BC. — URL: https://lila.science/datasets/nz-trailcams (visited on 02/17/2025).

47. Haucke, T. SOCRATES: Introducing Depth in Visual Wildlife Monitoring Using Stereo Vision / T. Haucke, H. S. Kühl, V. Steinhage // Sensors. —2022. — Vol. 22, no. 23. — URL: https://www.mdpi.com/1424-8220/22/23/9082.

48. ATRW: A Benchmark for Amur Tiger Re-identification in the Wild / S. Li [h gp.] // Proceedings of the 28th ACM International Conference on Multimedia. — Association for Computing Machinery, 2020. — C. 2590-2598. -URL: https://doi.org/10.1145/3394171.3413569.

49. Panthera pardus CSV custom export [Electronic Resource] / Botswana Predator Conservation Trust. — 2022. — URL: https://lila. science/datasets/hyena-id-2022/ (visited on 02/17/2025).

50. Panthera pardus CSV custom export [Electronic Resource] / Botswana Predator Conservation Trust. — 2022. — URL: https://lila. science/datasets/leopard-id-2022/ (visited on 02/17/2025).

51. Animal population censusing at scale with citizen science and photographic identification / J. Parham [et al.] //. — AI Access Foundation, 2017. — P. 37—44.

52. Korschens, M. ELPephants: A Fine-Grained Dataset for Elephant Re-Identification / M. Korschens, J. Denzler // 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). — 2019. — P. 263—270.

53. Holmberg, ./.Estimating population size, structure, and residency time for whale sharks Rhincodon typus through collaborative photo-identification / J. Holmberg, B. Norman, Z. Arzoumanian // Endangered Species Research. — 2009. — Vol. 7, no. 1. — P. 39—53.

54. Humpback Whale Identification / A. Howard [et al.]. — 2018. — URL: https: //kaggle.com/competitions/humpback-whale-identification.

55. Happywhale - Whale and Dolphin Identification / T. Cheeseman [et al.]. — 2022. — URL: https://kaggle.com/competitions/happy-whale-and-dolphin.

56. Beluga ID 2022 [Electronic Resource] / LILA BC. — 2022. — URL: https://lila. science/datasets/beluga-id-2022/ (visited on 02/18/2025).

57. SeaTurtleID2022: A long-span dataset for reliable sea turtle re-identification / L. Adam [et al.] // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. — 2024. — P. 7146—7156.

58. Automated identification of animal species in camera trap images / X. Yu [et al.] // EURASIP Journal on Image and Video Processing. — 2013. — Vol. 2013.-P. 1-10.

59. Linear spatial pyramid matching using sparse coding for image classification / J. Yang [et al.] // 2009 IEEE Conference on computer vision and pattern recognition. — IEEE. 2009. — P. 1794—1801.

60. Deep convolutional neural network based species recognition for wild animal monitoring / G. Chen [et al.] // 2014 IEEE International Conference on Image Processing (ICIP). — 2014. — P. 858—862.

61. Ren, X. Ensemble Video Object Cut in Highly Dynamic Scenes / X. Ren, T. X. Han, Z. He // 2013 IEEE Conference on Computer Vision and Pattern Recognition. — 2013. — P. 1947—1954.

62. Gomez Villa, A. Towards automatic wild animal monitoring: Identification of animal species in camera-trap images using very deep convolutional neural networks / A. Gomez Villa, A. Salazar, F. Vargas // Ecological Informatics. — 2017. — Vol. 41. — P. 24—32. — URL: https://www.sciencedirect.com/science/ article/pii/S1574954116302047.

63. ImageNet classification with deep convolutional neural networks. — Curran Associates Inc., 2012. — P. 1097—1105. 9 p.

64. Simonyan, K. Very deep convolutional networks for large-scale image recognition / K. Simonyan, A. Zisserman // arXiv preprint arXiv:1409.1556. — 2014.

65. Going deeper with convolutions / C. Szegedy [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2015. — P. 1—9.

66. Deep Residual Learning for Image Recognition / K. He [et al.] // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2016. — P. 770—778.

67. Machine learning to classify animal species in camera trap images: Applications in ecology / M. A. Tabak [et al.] // Methods in Ecology and Evolution. — 2019. — Vol. 10, no. 4.—P. 585—590.

68. Three critical factors affecting automated image species recognition performance for camera traps / S. Schneider [h gp.] // Ecology and evolution. — 2020. — T. 10, №7. —C. 3503—3517.

69. Densely connected convolutional networks / G. Huang [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — P. 4700—4708.

70. Beery, S. Recognition in terra incognita / S. Beery, G. Van Horn, P. Perona // Proceedings of the European conference on computer vision (ECCV). — 2018.— P. 456—473.

71. Rethinking the inception architecture for computer vision / C. Szegedy [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — P. 2818—2826.

72. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks / S. Ren [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2017. — Vol. 39, no. 6. — P. 1137—1149.

73. Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning / M. S. Norouzzadeh [et al.] // Proceedings of the National Academy of Sciences. — 2018. — Vol. 115, no. 25. — E5716—E5725.

74. Animal Recognition and Identification with Deep Convolutional Neural Networks for Automated Wildlife Monitoring / H. Nguyen [et al.] //2017 IEEE International Conference on Data Science and Advanced Analytics (DSAA). — 2017.-P. 40-49.

75. Schneider, S. Deep learning object detection methods for ecological camera trap data / S. Schneider, G. W. Taylor, S. Kremer //201815th Conference on computer and robot vision (CRV). — IEEE. 2018. — P. 321—328.

76. Redmon, J.Y0L09000: better, faster, stronger / J. Redmon, A. Farhadi // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — P. 7263—7271.

77. Schneider, S. Gold Standard Snapshot Serengeti Bounding Box Coordinates / S. Schneider, S. Kremer, G. Taylor. — Version V2. — 2018. — URL: https://doi. org/10.5683/SP/TPB5ID.

78. A first step towards automated species recognition from camera trap images of mammals using AI in a European temperate forest / M. Choinski [et al.] // Computer Information Systems and Industrial Management: 20th International Conference, CISIM 2021, Elk, Poland, September 24-26, 2021, Proceedings 20. - Springer. 2021. - P. 299-310.

79. Jocher, G. YOLOv5 by Ultralytics / G. Jocher. — Version 7.0. — 2020. — URL: https://github.com/ultralytics/yolov5.

80. Ungulate detection and species classification from camera trap images using RetinaNet and faster R-CNN / A. Vecvanags [et al.] // Entropy. — 2022. — Vol. 24, no. 3.—P. 353.

81. Bochkovskiy, A. Yolov4: Optimal speed and accuracy of object detection / A. Bochkovskiy, C.-Y. Wang, H.-Y. M. Liao // arXiv preprint arXiv:2004.10934.-2020.

82. Ssd: Single shot multibox detector / W. Liu [et al.] // Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part I 14. — Springer 2016. — P. 21—37.

83. Schindler, F. Instance segmentation and tracking of animals in wildlife videos: SWIFT-segmentation with filtering of tracklets / F. Schindler, V. Steinhage // Ecological Informatics. — 2022. — Vol. 71. — P. 101794.

84. Mask r-cnn / K. He [et al.] // Proceedings of the IEEE international conference on computer vision. — 2017. — P. 2961—2969.

85. Sofiiuk, K. Reviving iterative training with mask guidance for interactive segmentation / K. Sofiiuk, I. A. Petrov, A. Konushin // 2022 IEEE International Conference on Image Processing (ICIP). — IEEE. 2022. — P. 3141—3145.

86. Simoes, F. DeepWILD: Wildlife Identification, Localisation and estimation on camera trap videos using Deep learning / F. Simoes, C. Bouveyron, F. Precioso // Ecological Informatics. — 2023. — Vol. 75. — P. 102095.

87. Beery, S. Efficient Pipeline for Camera Trap Image Review / S. Beery, D. Morris, S. Yang. — 2019. — URL: https://arxiv.org/abs/1907.06772.

88. Tan, M. Efficientnetv2: Smaller models and faster training / M. Tan, Q. Le // International conference on machine learning. — PMLR. 2021. — P. 10096-10106.

89. A ConvNet for the 2020s / Z. Liu [et al.] // 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). — 2022. — P. 11966—11976.

90. A deep active learning system for species identification and counting in camera trap images / M. S. Norouzzadeh [et al.] // Methods in ecology and evolution. — 2021.-Vol. 12, no. 1.-P. 150-161.

91. Simpson, R. Zooniverse: observing the world's largest citizen science platform / R. Simpson, K. R. Page, D. De Roure // Proceedings of the 23rd International Conference on World Wide Web. — New York, NY, USA : Association for Computing Machinery, 2014. — P. 1049—1054. — URL: https://doi.org/10. 1145/2567948.2579215.

92. A generalized approach for producing, quantifying, and validating citizen science data from wildlife images / A. Swanson [et al.] // Conservation Biology. — 2016. — Vol. 30, no. 3. — P. 520—531.

93. Identifying animal species in camera trap images using deep learning and citizen science / M. Willi [et al.] // Methods in Ecology and Evolution. — 2019. — Vol. 10, no. 1.—P. 80—91.

94. ATRW: a benchmark for Amur tiger re-identification in the wild / S. Li [et al.] // arXiv preprint arXiv:1906.05586. — 2019.

95. Amur tiger stripes: Individual identification based on deep convolutional neural network / C. Shi [et al.] // Integrative zoology. — 2020. — Vol. 15, no. 6. — P. 461-470.

96. A study on giant panda recognition based on images of a large proportion of captive pandas / P. Chen [et al.] // Ecology and Evolution. — 2020. — Vol. 10, no. 7.—P. 3561—3573.

97. Distinguishing individual red pandas from their faces / Q. He [et al.] // Pattern Recognition and Computer Vision: Second Chinese Conference, PRCV 2019, Xi'an, China, November 8-11,2019, Proceedings, Part II2. — Springer. 2019. — P. 714—724.

98. Revisiting animal photo-identification using deep metric learning and network analysis / V. Miele [et al.] // Methods in Ecology and Evolution. — 2021. — Vol. 12, no. 5.—P. 863—873.

99. Colomer Matachana, D. Deep Learning for Leopard Individual Identification: An Adaptive Angular Margin Approach / D. Colomer Matachana // arXiv e-prints. — 2024. — arXiv—2411.

100. Deep learning-based methods for individual recognition in small birds / A. C. Ferreira [et al.] // Methods in Ecology and Evolution. — 2020. — Vol. 11, no. 9.—P. 1072—1085.

101. Optimizing the automated recognition of individual animals to support population monitoring / T. A. de Lorm [et al.] // Ecology and Evolution. — 2023. - Vol. 13, no. 7. - e10260.

102. Human expertise combined with artificial intelligence improves performance of snow leopard camera trap studies / E. Bohnett [et al.] // Global Ecology and Conservation. — 2023. — Vol. 41. — e02350.

103. Towards on-farm pig face recognition using convolutional neural networks / M. F. Hansen [etal.] //Computers in Industry. — 2018. — Vol. 98. — P. 145—152.

104. Primate face identification in the wild / A. Shukla [et al.] // PRICAI2019: Trends in Artificial Intelligence: 16th Pacific Rim International Conference on Artificial Intelligence, Cuvu, Yanuca Island, Fiji, August 26-30, 2019, Proceedings, Part III 16. — Springer 2019. — P. 387-401.

105. Individual common dolphin identification via metric embedding learning / S. Bouma [et al.] //2018 international conference on image and vision computing New Zealand (IVCNZ). — IEEE. 2018. — P. 1—6.

106. Method for whale re-identification based on siamese nets and adversarial training / W. Wang [et al.] // Optical Memory and Neural Networks. — 2020. — Vol. 29.-P. 118-132.

107. Hermans, A. In defense of the triplet loss for person re-identification / A. Hermans, L. Beyer, B. Leibe // arXiv preprint arXiv:1703.07737. — 2017.

108. Alignedreid: Surpassing human-level performance in person re-identification / X. Zhang [et al.] // arXiv preprint arXiv:1711.08184. — 2017.

109. Tiny-DSOD: Lightweight object detection for resource-restricted usages / Y. Li [et al.] // arXiv preprint arXiv:1807.11013. — 2018.

110. Redmon, J. Yolov3: An incremental improvement / J. Redmon, A. Farhadi // arXiv preprint arXiv:1804.02767. — 2018.

111. Gradient-based learning applied to document recognition / Y. LeCun [et al.] // Proceedings of the IEEE. — 1998. — Vol. 86, no. 11. — P. 2278—2324.

112. Zeiler, M. D. Visualizing and understanding convolutional networks / M. D. Zeiler, R. Fergus // Computer Vision-ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part I 13. - Springer. 2014. - P. 818-833.

113. Revisiting animal photo-identification using deep metric learning and network analysis / V. Miele [et al.] // Methods in Ecology and Evolution. — 2021. — Vol. 12, no. 5.—P. 863—873.

114. Lowe, D. G. Distinctive image features from scale-invariant keypoints / D. G. Lowe // International journal of computer vision. — 2004. — Vol. 60. — P. 91-110.

115. Identity mappings in deep residual networks / K. He [et al.] // Computer Vision-ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14,2016, Proceedings, Part IV 14. — Springer. 2016. — P. 630—645.

116. Colomer Matachana, D. Deep Learning for Leopard Individual Identification: An Adaptive Angular Margin Approach / D. Colomer Matachana // arXiv e-prints. — 2024. — arXiv—2411.

117. Tan, M. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks / M. Tan, Q. V. Le // ArXiv. — 2019. — Vol. abs/1905.11946. — URL: https://api.semanticscholar.org/CorpusID:167217261.

118. Lunteren, P. van. EcoAssist: A no-code platform to train and deploy custom YOLOv5 object detection models / P. van Lunteren // Journal of Open Source Software. — 2023. — Vol. 8, no. 88. — P. 5581. — URL: https://doi.org/10. 21105/joss.05581.

119. Improving the accessibility and transferability of machine learning algorithms for identification of animals in camera trap images: MLWIC2 / M. A. Tabak [et al.] // Ecology and Evolution. — 2020. — Vol. 10, no. 19. — P. 10374—10383. — URL: https://onlinelibrary.wiley.com/doi/abs/10.1002/ ece3.6692.

120. Google. faster_cnn/inception_resnet_v2 / Google. — 2020. — URL: https : / / www. kaggle. com/models/google/faster- rcnn- inception- resnet- v2/tensorFlow1 / faster-rcnn-openimages-v4-inception-resnet-v2/1.

121. The DeepFaune initiative: a collaborative effort towards the automatic identification of European fauna in camera trap images / N. Rigoudy [et al.] // European Journal of Wildlife Research. — 2023. — Oct. — Vol. 69.

122. ClassifyMe: A Field-Scouting Software for the Identification of Wildlife in Camera Trap Images / G. Falzon [et al.] // Animals. — 2020. — Vol. 10, no. 1. — URL: https://www.mdpi.com/2076-2615/10/1Z58.

123. Evans, B. camtrap_detector / B. Evans. — Version 0.4.0. — 2023. — URL: https: //camtrap.net/detector.

124. Harnessing Artificial Intelligence for Wildlife Conservation / P. Fergus [et al.] // Conservation. — 2024. — Vol. 4, no. 4. — P. 685—702. — URL: https://www. mdpi.com/2673-7159/4/4/41.

125. Wildlife Insights: A Platform to Maximize the Potential of Camera Trap and Other Passive Sensor Wildlife Data for the Planet / J. A. Ahumada [et al.] // Environmental Conservation. — 2020. — Vol. 47, no. 1. — P. 1—6.

126. Agouti: A platform for processing and archiving of camera trap images / J. Casaer [et al.] // Biodiversity Information Science and Standards. — 2019. — Vol. 3. — e46690. — URL: https://doi.org/10.3897/biss.3.46690.

127. Wildtrax / B. E [et al.]. — 2018. — URL: https://www.wildtrax.ca.

128. Gyurov, P. A desktop application that makes using MegaDetector's model easier / P. Gyurov. — Version 0.0.2. — 2022. — URL: https://github.com/petargyurov/ megadetector- gui.

129. Tzutalin. Labelimg / Tzutalin. — Version 1.8.1. — 2015. — URL: https://github. com/tzutalin/labelImg.

130. Greenberg, S. Timelapse / S. Greenberg. — 2024. — URL: https://github.com/ saulgreenberg/Timelapse.

131. MLWIC: Machine Learning for Wildlife Image Classification in R / M. S. Norouzzadeh [et al.]. — 2018. — URL: https://zenodo.org/records/ 1445736.

132. Lin, M. Network in network / M. Lin, Q. Chen, S. Yan // arXiv preprint arXiv:1312.4400.-2013.

133. Inception-v4, inception-ResNet and the impact of residual connections on learning / C. Szegedy [et al.] // Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. — San Francisco, California, USA : AAAI Press, 2017. - P. 4278-4284. -(AAAI'17).

134. Automated detection of European wild mammal species in camera trap images with an existing and pre-trained computer vision model / C. Carl [et al.] // European Journal of Wildlife Research. — 2020. — July. — Vol. 66.

135. Jocher, G. Ultralytics YOLO / G. Jocher, J. Qiu, A. Chaurasia. — Version 8.0.0. —2023. — URL: https://github.com/ultralytics/ultralytics.

136. Rivest, R. L. The MD5 Message-Digest Algorithm : RFC / R. L. Rivest ; RFC Editor. — 1992. — No. 1321. — URL: https://www.rfc-editor.org/rfc/rfc1321.

137. National Institute of Standards and Technology. Secure Hash Standard (SHS) : тех. отч. / National Institute of Standards and Technology ; Federal Information Processing Standards Publication. — 1995. — № 180/1. — URL: https://nvlpubs. nist.gov/nistpubs/fips/nist.fips.180-4.pdf.

138. Zauner, C. Implementation and benchmarking of perceptual image hash functions / C. Zauner. — 2010.

139. Система анализа данных с фотоловушек для оперативного дистанционного мониторинга природных территорий / В. А. Ефремов [и др.] // Вестник Московского государственного технического университета им. НЭ Баумана. Серия «Приборостроение». — 2023. — 4 (145). — С. 85—109.

140. Метод обработки фото- и видеоданных с фотоловушек с использованием двухстадийного нейросетевого подхода / В. А. Ефремов [и др.] // Искусственный интеллект и принятие решений. — 2023. — № 3. — С. 98-108.

141. R-fcn: Object detection via region-based fully convolutional networks / J. Dai [et al.] // Advances in neural information processing systems. — 2016. — Vol. 29.

142. Cai, Z. Cascade r-cnn: Delving into high quality object detection / Z. Cai, N. Vasconcelos // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 6154—6162.

143. Qiao, S. Detectors: Detecting objects with recursive feature pyramid and switchable atrous convolution / S. Qiao, L.-C. Chen, A. Yuille // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2021. —С. 10213-10224.

144. You only look once: Unified, real-time object detection / J. Redmon [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — P. 779—788.

145. Tan, M. Efficientdet: Scalable and efficient object detection / M. Tan, R. Pang, Q. V. Le // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2020. — P. 10781—10790.

146. Fcos: Fully convolutional one-stage object detection / Z. Tian [et al.] // Proceedings of the IEEE/CVF international conference on computer vision. — 2019.-P. 9627-9636.

147. Centernet: Keypoint triplets for object detection / K. Duan [et al.] // Proceedings of the IEEE/CVF international conference on computer vision. — 2019. — P. 6569—6578.

148. End-to-end object detection with transformers / N. Carion [et al.] // European conference on computer vision. — Springer. 2020. — P. 213—229.

149. CSPNet: A new backbone that can enhance learning capability of CNN / C.-Y. Wang [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. — 2020. — P. 390—391.

150. Feature pyramid networks for object detection / T.-Y. Lin [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2017. — P. 2117-2125.

151. Path aggregation network for instance segmentation / S. Liu [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2018. — P. 8759—8768.

152. Wang, C.-Y. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors / C.-Y. Wang, A. Bochkovskiy, H.-Y. M. Liao // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2023. — P. 7464—7475.

153. Yolov10: Real-time end-to-end object detection. arXiv 2024 / A. Wang [et al.] // arXiv preprint arXiv:2405.14458. — 2024.

154. Защита редких животных [Электронный ресурс] / Цифровой прорыв. —

2021. — URL: https://2022.hacks-ai.ru/news/941634 (дата обр. 28.04.2025).

155. Автоматическая фильтрация изображений животных [Электронный ресурс] / Цифровой прорыв. — 2024. — URL: https://hacks-ai.ru/events/ 1077382 (дата обр. 28.04.2025).

156. An image is worth 16x16 words: Transformers for image recognition at scale / A. Dosovitskiy [et al.] // arXiv preprint arXiv:2010.11929. — 2020.

157. Maxvit: Multi-axis vision transformer / Z. Tu [et al.] // European conference on computer vision. — Springer. 2022. — P. 459—479.

158. Coatnet: Marrying convolution and attention for all data sizes / Z. Dai [et al.] // Advances in neural information processing systems. — 2021. — Vol. 34. — P. 3965—3977.

159. Convnext v2: Co-designing and scaling convnets with masked autoencoders / S. Woo [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2023. — P. 16133—16142.

160. Masked autoencoders are scalable vision learners / K. He [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. —

2022.-P. 16000-16009.

161. Simmim: A simple framework for masked image modeling / Z. Xie [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. — 2022. — P. 9653—9663.

162. Cutmix: Regularization strategy to train strong classifiers with localizable features / S. Yun [et al.] // Proceedings of the IEEE/CVF international conference on computer vision. — 2019. — P. 6023—6032.

163. mixup: Beyond empirical risk minimization / H. Zhang [et al.] // arXiv preprint arXiv:1710.09412.-2017.

164. Randaugment: Practical automated data augmentation with a reduced search space / E. D. Cubuk [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. — 2020. — P. 702—703.

165. Polyloss: A polynomial expansion perspective of classification loss functions / Z. Leng [et al.] // arXiv preprint arXiv:2204.12511. — 2022.

166. How transferable are features in deep neural networks? / J. Yosinski [et al.] // Advances in neural information processing systems. — 2014. — Vol. 27.

167. Segment anything in high quality / L. Ke [et al.] // Advances in Neural Information Processing Systems. — 2023. — Vol. 36. — P. 29914—29934.

168. Segment anything / A. Kirillov [et al.] // Proceedings of the IEEE/CVF international conference on computer vision. — 2023. — P. 4015—4026.

169. Система многокамерной темпоральной идентификации и трекинга человека на предприятии / А. В. Леус [и др.] // Правовая информатика. — 2022.—№3. —С. 31-39.

170. Multistage Algorithm Based on Neural Networks for Preprocessing and Processing of Photo and Video Data from Camera Traps / V. Efremov [et al.] // Scientific and Technical Information Processing. — 2024. — Vol. 51, no. 5. — P. 506—513.

Список рисунков

1.1 Интерфейс программы MegaDetector GUI: A — окно запуска модели детектора (Detect); B — окно проверки результатов (Review); C —

окно справки (Documentation)........................44

1.2 Интерфейс программы EcoAssist: A — окно настроек готовой модели детектора на основе MegaDetector v5a; B — окно настройки и запуска пользовательской модели классификатора; C — интерфейс внешнего приложения LabelImg для ручной разметки и тегирования изображений; D — часть окна программы TimeLapse с интегрированными результатами работы детектора и классификатора (красной рамкой показаны автоматически заполненные поля на

основе предсказаний моделей). ...................... 45

1.3 Интерфейс программы DeepFaune: главное окно с результатами классификации и окно настроек модели перед запуском.........48

1.4 Интерфейс программы ClassifyMe.....................50

1.5 Интерфейс программы CamTrap Detector: А — окно загрузки данных; Б — процесс обработки изображений моделью MegaDetector; В — окно выгрузки результатов в заданном формате. . . 51

2.1 Примеры географического расположения заказников, заповедников и национальных парков на территории Российской Федерации....... 58

2.2 Примеры изображений животных с фотоловушек с разных локаций: a) Центрально-лесной заповедник (медведь); б) Дагестанский заповедник (волк); в) Саяно-Шушенский заповедник (росомаха); г) Сихотэ-Алинский заповедник (тигр)....................59

2.3 Примеры изображений с искажениями: а) пустое изображение; б) объект в темноте; в) близкое расположение объекта к камере; г) засвеченный объект; д) размытый объект; е) частичное попадание объекта в кадр................................. 60

2.4 Распределение аннотированных объектов по классам..........61

2.5 Распределения наборов данных по количеству изображений и размеченных объектов ограничивающими рамками. Датасет, собранный в рамках исследования, имеет название «RUSSIA».....62

2.6 Примеры изображений-дубликатов: одно и то же изображение с разными именами файлов в хранилище...................63

2.7 Примеры изображений-дубликатов: серия кадров, полученная фотоловушкой за короткий интервал времени...............64

2.8 Примеры кадров, извлечённых с интервалом в 1 секунду из двух видеопоследовательностей. Изображения а-г соответствуют сцене со снежным барсом; изображения д-з — сцене с бурым медведем...... 65

2.9 Примеры изображений-дубликатов, полученных из Интернета...... 65

2.10 Последовательность применения шагов алгоритма перцептивного хэширования на примере изображения с фотоловушки..........68

2.11 ROC-AUC-кривые для трех яркостный признаков............73

2.12 ROC-AUC-облако точек, где каждая точка соответствует комбинации трёх параметров яркости. Слева — полная версия, справа — усечённая. Лучшая комбинация помечена красной точкой........74

2.13 Матрица ошибок после применения яркостного фильтра с подобранными порогами к исходной выборке .............. 75

2.14 ROC-кривая (слева) и Precision-Recall-кривая (справа) для этапа фильтрации по расстоянию Хэмминга. Площади под кривыми (AUC и AP) отражают эффективность фильтра при разных порогах; оптимальный порог tH отмечен красным ромбом.............76

2.15 Зависимость показателей Precision и Recall от значения порога расстояния Хэмминга ............................ 77

2.16 Матрица ошибок после применения подобранного порога по расстоянию Хэмминга ............................ 78

2.17 Зависимость показателей Precision и Recall от значения порога корреляции .................................. 79

2.18 Матрица ошибок после применения подобранного порога по корреляции .................................. 80

2.19 Схема алгоритма разбиения данных....................82

2.20 Гистограмма распределения между INTRA- и INTER-парами (слева) и зависимость Precison, Recall, F\ от порога расстояния Хэмминга (справа)....................................88

2.21 Влияние порога расстояния Хэмминга d на качество кластеризации. Слева показана доля ложных межсерийных объединений (FPR), справа — значения метрик Completeness и ARI в зависимости от d при фиксированном nmax. Вертикальная линия соответствует оптимальному порогу dopt = 22, обеспечивающему баланс между низким уровнем ложных объединений (FPR = 0.052) и высокой согласованностью кластеризации (ARI = 0.998,

Completeness = 0.931)............................90

2.22 Относительное отклонение числа кластеров от количества эталонных серий в зависимости от значения порога расстояния Хэмминга d при фиксированном максимальном размере серии nmax = 222......... 91

3.1 Распределение числа объектов на изображениях.............97

3.2 Примеры изображений с высокой плотностью объектов.........98

3.3 Распределения относительной площади объектов и геометрических размеров ограничивающих рамок (ширины и высоты)..........99

3.4 Зависимость метрик Fi, Precision, Recall от показателя уверенности детектора ................................... 108

3.5 Распределение количества изображений по классам. Положительные значения соответствуют абсолютному числу объектов в каждом классе. Отрицательные значения отражают разницу между числом объектов в текущем классе и числом объектов в наиболее представленном (мажорном) классе.....................114

3.6 Распределение значений F1 метрики по классам на валидационной и тестовой подвыборках ............................ 120

3.7 Распределение уровней уверенности модели для корректных и ошибочных предсказаний в трёх лучших, средних и худших по точности распознавания классах. Зелёным цветом показаны корректные предсказания, красным — ошибочные............122

3.8 Кривые точности и охвата для трёх лучших, средних и худших классов по точности распознавания. Вертикальная пунктирная линия обозначает значение порога уверенности, соответствующее 75-му перцентилю среди ошибочных предсказаний................124

3.9 Схема получения сегментационной разметки с использованием исходных ограничивающих рамок и модели SAM-HQ...........127

3.10 Примеры изображений с качественными сегментационными

масками, полученными с использованием SAM-HQ............129

3.11 Примеры изображений с сегментационными масками низкого

качества, полученными с использованием SAM-HQ...........130

3.12 Распределение количества изображений на одну особь для тигров и леопардов...................................137

3.13 Окна графического интерфейса системы автоматической обработки данных с фотоловушек...........................142

4.1 Пример одной регистрации.........................148

4.2 Блок-схема алгоритма создания первичных регистраций ........149

4.3 Пример ошибочного объединения двух особей одного класса, следующих друг за другом, в одну регистрацию..............155

4.4 Пример изображения с животным, не входящим в список допустимых классов классификатора....................156

4.5 Ошибки при количественной оценке: завышение и занижение числа объектов из-за особенностей съёмки....................156

Список таблиц

1 Описание публично доступных наборов данных по фотоловушкам

для задач детекции и классификации ...................28

2 Описание публично доступных наборов данных для задачи реидентификации животных........................31

3 Оценки скорости работы MegaDetector на разных вычислителях для моделей MDv4 и MDv5...........................43

4 Точность распознавания классификатора, обученного для соответствующей географической зоны, на базе архитектуры DarkNet-19.................................. 50

5 Сравнительная таблица характеристик пар изображений. Метка 1 обозначает дубликаты, метка 0 — недубликаты..............72

6 Сравнение стратегий разбиения данных, полученных с фотоловушек . 81

7 Сравнение алгоритмов YOLO по ключевым компонентам........96

8 Параметры обучения моделей .......................100

9 Сравнение моделей детекторов, обученных на датасете Objects365 . . .101

10 Результаты работы детекторов, предобученных на COCO и

Objects365, на данных с фотоловушек...................102

11 Распределение изображений по подвыборкам и сводные показатели

при кластерном разбиении для задачи детекции.............103

12 Метрики тЛР50 и mAP50:95 архитектуры Y0L0v10 на валидационных и тестовых данных при случайном и кластерном способах разбиения.............................104

13 Параметры обучения моделей ....................... 105

14 Результаты работы детекторов на изображениях с фотоловушек (валидационная и тестовая подвыборки). Значение FPS измерено на графическом ускорителе NVIDIA RTX 3080 с объёмом видеопамяти

10 ГБ......................................106

15 Результаты работы детекторов на изображениях с фотоловушек на валидационной и тестовой выборках ...................109

16 Информация о соревнованиях и количестве изображений в наборах данных....................................109

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

Результаты работы детекторов на данных с открытых соревнований по распознаванию животных с фотоловушек. Порог уверенности для всех детекторов был установлен на уровне 0,001. Значение FPS измерено при размере пакета изображений 1 на графическом

ускорителе RTX 3080 с объемом видеопамяти 10 ГБ...........110

Распределение изображений по подвыборкам и сводные показатели

при кластерном разбиении для задачи классификации..........115

Параметры обучения моделей ....................... 116

Результаты работы модели ConvNeXt V2 на валидационных и

тестовых данных при случайном и кластерном разбиении ........ 119

Смещение метрик Fi (в процентах) между валидацией и тестом при случайном разбиении, а также результаты парного t-теста (n = 5). А — средняя разница метрик между валидацией и тестом; CI — 95 % доверительный интервал по t-распределению; t, p — значение статистики и уровень значимости (p-value) парного двустороннего

t-теста.....................................119

Метрики фильтрации предсказаний для худших и средних классов при использовании порога уверенности, соответствующего 75" му

перцентилю среди ошибочных предсказаний................125

Скорость инференса SAM-HQ при различных конфигурациях. Время

замерялось на Tesla A100 с объёмом памяти 40 ГБ.............132

Скорость инференса SAM-HQ на различных графических

вычислителях ................................ 132

Результаты работы сегментационных моделей архитектуры YOLOv8

на валидационной и тестовой выборках .................. 134

Описательные статистики по распределению количества

изображений на одну особь ......................... 138

Распределение изображений и особей для задачи реидентификации

тигров и леопардов ............................. 139

Сравнение метрик реидентификации тигров и леопардов в условиях

двуфланговой постановки задачи (модель ConvNeXt V2-Pico)......140

Фрагмент таблицы с результатами совместной работы модулей

детекции и классификации.........................142

Пример независимых наблюдений по классу объекта .......... 143

Оценка скорости работы двухстадийной системы ............144

32 Пример независимых наблюдений по локации..............147

33 Пример независимых наблюдений по классу объекта..........148

34 Пример независимых наблюдений по временному порогу........148

35 Зависимость числа регистраций от пороговых значений Pthr и Tthr . . .153

Приложение А

Патент

Приложение Б

Акт о внедрении программного обеспечения в ФГБУ «Сихотэ-Алинский государственный природный биосферный заповедник имени К. Г. Абрамова»

Федеральное государственное бюджетное учреждение «Сихотэ-Алинский государственный природный биосферный заповедник имени К.Г. Абрамова»

ИНН 2528001711, ОГРН 1022500615532, КПП 252801001, Адрес: 692150 ул. Партизанская 44, п. Терней, Тернейский муниципальный округ, Приморский край.

тел: [phone] ешаП: [e-mail]

Акт о внедрении результатов диссертационного исследования

Данный акт подтверждает, что результаты исследовательской работы, полученные Ефремовым Владиславом Александровичем и приведенные в его диссертации «Разработка алгоритмов обработки фото- и видеоданных на базе искусственных нейронных сетей в рамках создаваемого программно-аппаратного комплекса для мониторинга окружающей среды на особо охраняемых природных территориях», представленной на соискание ученой степени кандидата технических наук по специальности 2.3.1 «Системный анализ, управление и обработка информации, статистика» были интегрированы в программное обеспечение «Специальное программное обеспечение анализа данных подсистемы наземных пунктов видеонаблюдения», использующееся в Федеральном государственном бюджетном учреждении «Сихотэ-Алинский государственный природный биосферный заповедник имени К. Г. Абрамова.

Директор заповедника