Разработка технологий анализа движений спортсменов на основе нейросетевого анализа данных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат наук Хафизов Роман Раилевич

• Хафизов Роман Раилевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Хафизов Роман Раилевич

Введение

Глава 1. Постановка задачи

1.1 Определение показателей эффективности в футболе

1.2 Обзор показателей эффективности

1.2.1 Физические / физиологические параметры

1.2.2 Технические параметры

1.2.3 Тактические параметры

1.2.4 Факторы, влияющие на эффективность команды

1.3 Постановка задачи на использование видеоаналитики для

анализа параметров

Глава 2. Обзор существующего уровня техники

2.1 Классификация событий при анализе футбольного матча

2.2 Имеющиеся подходы к формированию векторного представления статических поз

2.3 Методы построения 2D скелетной модели

2.4 Имеющиеся подходы к формированию трехмерного векторного представления движения спортсменов

2.5 Имеющиеся подходы к анализу спортивной игры

2.6 Свёрточные нейронные сети

2.7 Рекуррентные нейронные сети

2.8 Методы оптимизации нейронных сетей

2.9 Алгоритм детектирования объектов YOLO

2.10 Алгоритм определения позы человека OpenPose

2.11 Построение 2D моделей людей, находящихся в поле зрения камеры

Глава 3. Определение поз спортсменов по данным

видеонаблюдения

3.1 Описание формата обмена данными между компонентами

3.2 Предварительная обработка видео

3.3 Оценка параметров траекторий 2D скелетов

3.4 Формирование обучающей выборки

3.5 Использование Optical Flow

3.6 Применение фильтра Калмана для сглаживания и уточнения траекторий 2D скелетов

Глава 4. Построение трехмерной сцены и формирование поз

спортсменов в трехмерном пространстве

4.1 Алгоритм трехмерной привязки игроков к сцене

4.2 Формирование трехмерного представления на основе двумерных скелетных моделей

Глава 5. Анализ векторного представления движения

спортсменов и поиск тактико - технических действий

5.1 Предварительная обработка

5.2 Сравнительный анализ и выбор структуры нейронной сети

5.3 Результаты анализа и поиска ТТД

Заключение

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Разработка технологий анализа движений спортсменов на основе нейросетевого анализа данных»

Введение

Видеотрансляции футбольных матчей представляют собой последовательность видеоизображений с набора видеокамер.

При этом, как правило, съемка ведется с нескольких камер одновременно.

Видеотрансляция редактором разбивается на ряд фрагметов, каждый из которых может быть отнесен к одному из нескольких планов.

Поскольку трансляция как правило ведется в режиме on-line, возникает возможность ее использования для анализа игры в реальном времени в интересах поддержки принятия решений тренерами команд.

При этом иногда доступны данные сразу с нескольких камер.

Важной особенностью при этом является использование видеосъемки высокого разрешения. Уже сегодня стандартом де-факто является использование 4K видео.

Наличие такого прекрасного инструмента, как видео высокого разрешения позволяет перейти от субъективной оценки игры команды тренером, находящимся на скамейке около поля к объективной оценке как индивидуальных, так и коллективных показателей команды, меняющихся в процессе игры.

Актуальность данной работы обусловлена тем, что в настоящее время футбол превратился в самостоятельную индустрию транснационального характера. При этом анализ самой игры превратился в актив, прямо влияющий на экономическую эффективность команд, как участников глобального рынка.

Целью данной работы является разработка алгоритмического подхода, позволяющего получить объективную оценку индивидуальных и командных показателей непосредственно в ходе футбольного матча на основе анализа видеотрансляции высокого разрешения с использованием технологий искусственного интеллекта. данной работы является разработка технологий, позволяющих проводить анализ движения спортсменов на основе нейросетевых алгоритмов обработки видео с камер высокого разрешения.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Проанализировать имеющиеся подходы, применяемые в спортивной аналитике для оценки индивидуальных и групповых характеристик спортсменов и обнаружения тактико-технических действий.

2. Разработать алгоритм формирования статических и динамических скелетных моделей поз спортсменов в двумерном и трехмерном пространстве.

3. Сформировать массив данных на основе публично доступных видеотрансляций и провести обнаружение и анализ тактико - технических действий, выполняемых спортсменами.

Основные положения, выносимые на защиту:

1. алгоритм формирования двумерных векторных скелетных моделей спортсменов на основе видеотрансляций высокого разрешения;

2. алгоритм адаптивного управления областью обработки для видео высокого разрешения;

3. алгоритм обнаружения тактико-технических действий на основе анализа движения многомерного вектора , описывающего двумерную скелетную модель игрока;

4. обученная и интегрированная в состав системы обработки видео модель поиска и классификации типовых тактико - технических действий игроков на основе сверточной нейронной сети.

Научная новизна:

1. впервые предложено использовать алгоритм вычисления оптического потока для уточнения координат суставов (joints);

2. впервые формализована задача поиска скелетных моделей в кадрах высокого разрешения с использованием процедуры адаптивного изменения разрешения;

3. впервые предложено использование методов фильтрации для уточнения координат суставов двумерной скелетной модели.

Научная и практическая значимость подтверждается тем, что разработанные методы и алгоритмы позволяют осуществлять автоматизированную обработку больших объемов видеоаналитики и формировать наборы показателей, описывающих индивидуальные и групповые особенности участников игры.

Степень достоверности полученных результатов обеспечивается проведением тестовых испытаний разработанных алгоритмов на реальных данных,

как полученных самостоятельно, так и загруженных с публичных архивов видеоматериалов. Результаты находятся в соответствии с результатами, полученными другими авторами с использованием традиционных методик.

Апробация работы. Основные результаты работы докладывались на:

1. Международная конференция Intelligent Systems Conference (IntelliSys 2020) 2020, Amsterdam

2. Международная конференция International Conference on Technology and Entrepreneurship (ICTE), Bologna, Italy, Date of Conference: 20-21 April 2020, Date Added to IEEE Xplore: 11 June 2020

3. XXII Международная конференция "Digital signal processing and its application" (DSPA-2020), ИПУ РАН им.В.А.Трапезникова, Москва, Россия, 29 September 2020

Личный вклад. Автор принимал активное участие в постановке и решении задач, обеспечивших достижение цели исследования. Подготовлены и размечены необходимые видеоматериалы. Автор непосредственно занимался особенностями применения используемых методов с учетом особенностей видеозаписей футбольных матчей. Формализована и решена задача поиска скелетных моделей в кадрах высокого разрешения с использованием процедуры адаптивного изменения разрешения. Проведена классификация тактико - технических действий (ТТД) и разработаны методы перехода от векторного представления игроков к векторному описанию ТТД.

Публикации. Основные результаты по теме диссертации изложены в 3 печатных изданиях [1—3], входящих в индекс цитирования Scopus.

Объем и структура работы. Диссертация состоит из введения, четырёх глав, заключения и двух приложений. Полный объём диссертации составляет 89 страниц с 36 рисунками и 6 таблицами. Список литературы содержит 95 наименований.

Глава 1. Постановка задачи 1.1 Определение показателей эффективности в футболе

Статистика в футболе, включая анализ эффективности отдельных игроков и всей команды, является предметом анализа спортивных аналитиков на протяжении более 40 лет.

Роль коллективных действий футбольной команды была точно сформулирована В.В.Лобановским еще в 1989 году [4]:

"Коллективное осмысленное движение поставлено во главу угла в современном футболе. Игровой прямоугольник стал таким же доступным, как баскетболистам - баскетбольная площадка. Футболистам, подготовленным, естественно, как подобает, не составляет труда промчаться 50 - 60 метров вперед и столько же - назад. На поле не должно быть пассивных игроков. Общее движение. Ошибка должна быть моментально исправлена. Сегодняшний футболист не является одиноким солдатом, сражающимся в своем углу с противником. Он охватывает все поле битвы, а на поле этом нет клочков, свободных от борьбы."

Таким образом было формально зафиксировано, что оценка качества команды определяется множеством индивидуальных и командных показателей, управление которыми и является задачей тренера.

Задачей спортивного (футбольного) аналитика в свою очередь является создание системы непрерывного мониторинга индивидуальных и командных показателей.

За последние 20 лет футбол сильно изменился из-за того, что ключевые показатели игроков такие как: средняя скорость, пройденная дистанция, точность пасов, количество пасов - сильно возросли [5]. По всему миру футбольные команды начинают использовать информационные системы для количественной оценки эффективности игроков, например, используя сенсоры [6] на игроках для отслеживания их показателей в реальном времени.

Также для оценки эффективности игроков используют компьютерное зрение, которое уже хорошо зарекомендовало себя. Оно хорошо решает множество

задач, как например отслеживание игроков, мяча, анализ движений игроков, которые помогают тренерам, судьям и футбольным аналитикам [7].

В настоящее время качество телевизионной трансляции для футбольных матчей высокого уровня достигло 4К, что соответствует для полнокадровой версии разрешения 4096 х 3072.

На рисунке 1.1 приведен момент игры - кадр из видео

Рисунок 1.1 — Кадр из футбольной трансляции высокого разрешения

1.2 Обзор показателей эффективности

Рассмотрим более подробно показатели, которые могут использоваться при оценке игрока или команды.

Показатель эффективности - это скалярная или векторная характеристика, соответствующая некоторому аспекту эффективности (успешности) в данном виде спорта. Сформированная система показателей должна приводить прямо или опосредовано к успешному результату или исходу и позволять анализировать динамику в результате тренировочного процесса.

Примеры показателей эффективности для футбольной аналитики приведены, например, в работах [8; 9].

Используя это определение, мы можем определить показатели, которые можно в свою очередь разбить на физические, физиологические, технические, тактические и т.д.

Показатели эффективности целесообразно разделить на индивидуальные и групповые.

В некоторых случаях групповой показатель может быть вычислен, как простая функция от персональных показателей игроков команды. Примером такого показателя является среднее время на дистанции 100 метров игроков команды.

В некоторых случаях групповые показатели должны вычисляться более сложным способом.

Есть набор показателей, которые могут вычисляться в рамках тренировочного процесса. Альтернативу представляют собой показатели, которые могут быть оценены только в процессе игры. При этом такие показатели могут существенно меняться от игры к игре.

Рассмотрим более детально следующие группы показателей:

1. физические и физиологические параметры (включая антропометрию);

2. технические показатели;

3. тактические показатели.

1.2.1 Физические / физиологические параметры

Первый набор параметров, описывающих отдельного игрока - антропометрические и физиологические параметры. Они, по сути, определяют физические возможности игроков.

Может показаться, что физические возможности игроков, являются ключевым фактором, влияющим на результат игры. Но тот факт, что в ряде случаев проигравшие команды преодолевали значительно большую дистанцию [10] говорит о том, что существуют показатели и факторы, отличные от физической готовности, которые более важны для итогового успеха команды.

Обзор антропометрических данных футболистов проведен, например в [11]. Незначительные различия были замечены в составе тела футболистов.

Однако удается найти зависимость между командами - победителями и проигравшими в физической подготовке игроков. На примере различных действий и упражнений эти зависимости и корреляции между физической формой и результатом футбольных матчей приведены в работах [12—14].

Интересно, что улучшенные физические возможности игроков влияют на их технические способности. В частности, они могут влиять на скорость обработки и передачи мяча и, следовательно, могут косвенно улучшать технические и тактические показатели игрока.

Исследования на основе результатов Лиги А в Италии [15] и английской Премьер лиги [16] показали связь между физической отдачей и финальным результатом команд в рейтинге лиги [10]. В частности, была проанализирована корреляция между скоростью перемещений игроков и положения команд в итоговой таблице лиги в конце игрового сезона. Однако оказалось , что явной корреляции преодоленной дистанции и финального результат команды нет [17].

Очевидно, что физические возможности должны быть основой "готовности к игре". При этом разные стили игры могут влиять на специфические требования к физической форме игроков.

В свою очередь, состояние игрока "не в форме", "не готов играть" часто переходит в состояние "травмирован" и одновременно сильно влияет на результат игры. Показано, что у выигравших команд было значительно меньше травм по сравнению с проигравшей командой [12].

Из вышесказанного естественным образом следует , что достаточно универсальным является показатель игрока "пройденное за игру расстояние" [18].

Однако, как правило, на результат анализа движения игрока во времени также влияют многие внешние факторы (счет матча, владение мячом, противник, погода и прочие).

Мы в рамках нашей работы не ставили задачи оценки физического /физиологического состояния игроков по результатам анализа движений.

1.2.2 Технические параметры

Второй группой индивидуальных параметров являются технические.

Подобно физическим / физиологическим параметрам, технические параметры играют в футбольной аналитике важную роль. Самым простым способом измерения технических параметров (таких, как удары по воротам, подкаты, финты) является их подсчет. Этот вид анализа принято называть нотационным анализом (notational analysis) [8].

Тот факт, что существует связь между количеством забитых голов и пропущенных голов и результатом игры, является очевидным. Но вот по отношению к другим параметрам, таким, как удары по воротам, переданные пасы, обработки мяча, финты явную корреляцию с результатом игры выстроить уже сложнее.

Будем руководствоваться подходом, предложенным в работе [8], где также в анализ технических действий предложено включать пасы (передачи мяча), единоборства и удары.

Пасы описываются следующими возможными показателями:

Количество полученных и переданных пасов - характеристика, описывающая каждого игрока и команду в целом.

Длина цепочки пасов - характеристика, описывающая команду в целом в части длины цепочки передач мяча между игроками команды до того момента, когда цепочка будет прервана единоборством или ударом по воротам.

Типы пасов - сложно формализуемая характеристика, описывающая особенности пасов (дальность, высота полета мяча, закрутка мяча). Это самая сложная часть анализа паса как технического действия.

Пасы в конкретную область - показатель формируется путем разбиения игрового поля на зоны и далее каждому пасу ставится в соответствие две зоны. Одна, в которой находился игрок, выполняющий передачу и вторая, в которой находился игрок принимающий передачу.

Проникающие пасы в штрафную и во вратарскую зону, казалось, увеличивали количество ударов по воротам и, следовательно, количество голов при атаке. Интересно, что неудачные команды имели тенденцию играть значительно больше передач в область, где располагаются защитники.

Точность пасов Нет сомнений в том, что точность паса является важным показателем эффективности в футболе в целом. Например, было показано, что точность паса была значительно выше за 5 минут до гола. Точность передачи не только сохраняет владение мячом, но также может привести к возможностям выигрыша, а также ограничить возможности владения мячом у противника.

Пас противнику, перехват - частично относится к параметрам паса. По - видимому единственным хорошо формализуемым способом описания этого параметра является процент перехватов передач.

Единоборства (выигранные/проигранные) представляют собой второй тип технических действий в соответствии с классификацией, предложенной в [8]

Доступно достаточно ограниченное количество исследований, содержащих анализ единоборств в футболе и их влияния на результат игры. Работа [19] является достаточно полным, но не очень детализированным исследованием, закрывающим полный современный взгляд на нотационный анализ.

Единоборства в свою очередь могут быть подвергнуты дальнейшей классификации.

Можно отдельно рассмотреть фолы и грубые фолы (по итогам которых были предъявлены желтые или красные карточки).

Отдельно можно классифицировать единоборства в защите или нападении.

Очевидным результатом единоборства является сторона, владеющая мя-чем по итогам единоборства.

Удары по воротам/мимо ворот являются достаточно простым показателем, описывающем соотношение сил играющих команд.

Традиционно их классифицируют на три категории - голевые удары, удары в створ ворот и удары мимо ворот.

Примером полезного показателя для описания ударов по воротам является классификация зон, из которых наносился удар. В работе [20] представлена процентная статистика успешных ударов из определенных областей/зон на Чемпионате Европы в Португалии в 2004 году: штрафная площадь (44,4%), площадь ворот (32,2%) и нестандартные положения (20,4%) .

Однако 90% всех голов были забиты в штрафной площади на чемпионате мира 1986 года, в то время как на чемпионате мира 1990 года этот процент составлял уже 80% [20], а голы из штрафной площади для греческого внутреннего футбола составляют 81,8% [21].

Как видим статистикой это назвать сложно , поскольку все зависит от уровня турнира, погоды, состава участников и множества других факторов.

1.2.3 Тактические параметры

Тактические параметры выделены в отдельную группу но при этом достаточно близко похожи на параметры технические. Основное отличие состоит в том, что тактические параметры определены только для команды.

Рассмотрим некоторые примеры.

Владение мячом представляет собой хорошо формализуемый параметр. Мы полагаем что мячом владеет команда, которая последней имела контакт с мячом.

Если задаться вопросом, какие внешние факторы влияют на параметр "владение мячем", то станет понятно, что на параметр влияет желаемый результат ("игра на ничью" или "игра на победу"), площадка (все помнят "выездную модель" киевского "Динамо" времен В.В.Лобановского), соотношение уровня команд. [22].

Несмотря на все перечисленное, считается, что владение мячом имеет первостепенное значение для успеха в игре. При этом некоторые вопросы о его влиянии на положительные результаты команды в конкретной игре остаются. Кажется, что в домашней игре владение мячом является более важным показателем эффективности (особенно в Англии и Испании) [23—25].

Аналитики обнаружили, что в случае взвешенного учета сил команд и коэффициента на "домашнее поле", владение мячом перестает быть устойчивым признаком, предопределяющим результат.

Тем не менее, выигрывающие команды имеют, как правило, больший процент владения мячом.

Владение мячом на определенном участке поля является частным случаем обсужденного ранее параметра "владение мячем".

Несложно заметить, что на владение мячом в определенной области поля влияет счет на табло во время игры. Уступающая команда значительно увеличивает свое владение в середине и атакующей трети поля и уменьшает владение в своей собственной оборонительной трети поля. Кроме того, владение мячом во время матча показывает, что команда, забившая гол, имеет в течение некоторого времени больше владений в середине и атакующей трети поля.

Владение мячом, как последовательность пасов уже упоминалось выше при обсуждении технических показателей.

В работе [26] проанализированы количество пасов, которые привели к голам, в финалах Кубка Мира ФИФА. Оказалось, что было больше голов забитых с более длинных последовательностей пасов, чем в результате более коротких последовательностей. Более длительное владение (более 5 пасов) приводит к большему количеству ударов по воротам.

1.2.4 Факторы, влияющие на эффективность команды

Эффективность команды представляется очень специфическим производным показателем, на который влияют многие переменные, обсужденные выше.

Выигравшие команды значительно отличались от проигравших такими параметрам, как :

— Голы;

— Удары в створ;

— Эффективность ударов по воротам (соотношение голов на удары);

— Владение мячом в целом;

— Позиционные характеристики (например, контратака);

— Владение с 0-4 пасами;

— Успешные передачи.

Как правило, команды - победители имели больше процент владения мячом, чем проигравшие команды при победе или ничьей, и никакой разницы не

было видно при поражении. Интересно, что у неудачных команд было меньше владения мячом при победе по сравнению с проигрышем, однако как у успешных, так и безуспешных команд было больше времени владения мячом, когда они проигрывали по сравнению с победой.

Успешные команды предпочитали использовать пасы низом в финальной трети поля, по сравнению с неудачными командами, которые преимущественно использовали пасы верхом. Успешные команды были также более эффективны, чем их противники, в розыгрышах стандартных положений.

1.3 Постановка задачи на использование видеоаналитики для

анализа параметров

Описанные выше в настоящей главе показатели до недавнего времени, как правило, извлекались из видеофайлов методами ручного разбора.

Относительно недавно появились технологии трекинга игроков и мяча.

При этом разметка ТТД и привязка ТТД к временной оси все равно осуществляется в экспертном режиме.

Вместе с тем современные технологии машинного зрения позволяют обрабатывать видео в реальном времени.

Известны реализации достаточно сложных алгоритмов, выполняемые в реальном масштабе времени на основе вычислителей на основе GPU.

В работе предложено использовать методы машинного обучения для определения параметров движения игроков в футболе.

При этом в простейшем случае рассматривается двумерное представление, в рамках которого игрок и мяч описываются точками на прямоугольном двумерном плане.

В более сложном случае предложено описывать игрока в виде векторного представления, в котором игрок описывается вектором, компоненты которого соответствуют 20-28 суставам (кисти и стопы описываются без детализации).

При этом и в простейшем и в сложном векторном случае на основе анализа движения игроков производится идентификация ТТД и определение показателей, которые описывают особенности выполнения ТТД.

Примерами показателей могут служить как индивидуальные , так и групповые показатели.

Результатом применения разрабатываемых алгоритмов должна стать расшифровка футбольного матча в виде набора векторных описаний ТТД игроков в привязке к временной оси.

Глава 2. Обзор существующего уровня техники 2.1 Классификация событий при анализе футбольного матча

Одной из задач футбольной аналитики является задача классификации футбольных действий. Одна из работ, посвященная классификации действий [27] ,рассказывает о решении этой задачи с помощью рекурентной нейронной сети [28]. Для извлечения признаков из видео были использованы 2 подхода: Bag of Words и SIFT [29]. В качестве рекурентной сети была использована LSTM [30], которая обучалась на данных MICC-Soccer-Actions-4 [31] и показала точность 0.92.

Похожая работа группы Агиемана и др. [32] также рассказывает о применении рекурентных нейронных сетей в задаче суммаризации матча. Авторы использовали 3-х мерные сверточные сети и LSTM на 744 фрагментах для классификации 5 событий: штрафной удар, угловой удар, голевой момент, развод с центра и бросок из аута. На данных "Soccer-5"алгоритм показал точность 96,81 % по метрике accuracy.

Шлипсинг и др. [33] также решали задачу классфикации событий. В этой работе данные были собраны от 2 камер, содержащих 6000 примеров. Для обработки видео футбольное поле было отделено от фона. Также было предложено классифицировать всех персон на поле, как игроки, люди вне поля, судьи и вратари. Для полевых игроков был разработан метод отслеживания [34] для формирования пути, пройденного на поле. Для классификации игроков было предложено 3 вида извлечения признаков: гистограммы цветов, метод главных компонент [35] и метод spaciograms [36]. А для классификации было предложено 3 алгоритма: алгоритм ближайших соседей, латентное размещение Дирихле и метод опорных векторов. Также была решена проблема с распознаванием конкретного игрока отслеживанием пути этого игрока. В качестве остальных элементов аналитики было предложено несколько визуализаций, как например, тепловая карта, сетка, показывающая самую частую ячейку, и карту пути по каждому игроку.

Другая задача в видеоаналитике была решена группой исследователей из Ватерлоо [37]. Целью этой работы являлось определить только полезные для анализа фрагменты, то есть определить игровое время и отделить его от фрагментов , когда игра остановлена (play-break-segmentation) и определить вид съемки: близкий, средний, далекий и вне поля (shot-view-classification). Для решения задач группа использовала сети с паралельным слиянием признаков и марковской модели со скрытой передачей. Для первой задачи использовалась модель Hidden-to-Observable Transferring Markov Model (H2O MM), а для определения вида съемки - Parallel Feature Fusion Network (PFF-Net). PFF-Net состояла из 3 частей: локальный преобразователь данных, несколько параллельных автоэнкодеров [38] и LG-классификация, состоявшая из слоя softmax и байесовского слоя. Обучение происходило на данных, состоящих из 9 часов 10 футбольных матчей. PFF-Net оказалась точной на 92%, а H2O MM на 96 %.

Ещё одной задачей в видеоаналитике является детекция событий. Одна из работ, посвященная решенению это задачи, а также решению задачи обогащения данных для видеоаналики в футбол, является работа группы Джанколы и др.[39]. Для решения задачи были собраны данные из 500 игр, количество которых составляет 6637 действий. Задачей являлась детекция 3 событий (желтая карточка, красная карточка, замена). Данные были собраны в 3 этапа: сборка видео из открытых источников, синхронизация часов и парсинг отчётов по матчу и формирование статистики. Также предстояло решить 2 задачи: детекция события на отрезке видео длинной в 1 минуту и детекция событий на всём видео. Для первой задачи использовалась преобученная нейронная сеть ResNet [40] с разными пулингами. Для второй задачи было использовано решение первой задачи на всем видео с окном в 1 секунду.

Также задачу детекции действий решали Хан и др. [41]. Целью было прогноз 2 событий: штрафного удара и углового удара. В пайплайн классификации была включена система детектирования (YOLO) [42] как первая ступень к решению задачи детекции. Для классификации событий был использован такой инструмент как калькулятор событий (Event Calculus) [43]. Обучение происходило на данных из выше высказанной работы "SoccerNet". Точность предсказания углового удара оказалась 68.4 % по метрике precision и 65 % по метрике recall, в то время как для углового удара точность оказалась 83.33 % по метрике precision и 25 % по метрике recall.

Список литературы диссертационного исследования кандидат наук Хафизов Роман Раилевич, 2020 год

Список литературы

1. Adaptive distributed video surveillance system / A. V. Khelvas [и др.] // 2020 International Conference on Technology and Entrepreneurship (ICTE) (ICTE 2020). — San Diego, USA, апр. 2020. — DOI: 10.1109/ICTE-V50708.2020. 9113774.

2. Improved 2D Human Pose Tracking Using Optical Flow Analysis / A. Khelvas [и др.] // Intelligent Systems and Applications / под ред. K. Arai, S. Kapoor, R. Bhatia. — Cham : Springer International Publishing, 2021. — С. 10—22. — ISBN 978-3-030-55187-2. — DOI: 10.1007/978-3-030-55187-2_2.

3. Разработка архитектуры программной AI платформы для анализа тактико - технических действий и функционального состояния футболистов в процессе игры по данным видеотрансляции / А. Хельвас [и др.] // Сборник трудов XXII Международной конференции «Цифровая обработка сигналов и ее применение DSPA-2020». — ИПУ им.Трапезникова, 2020. — С. 10—22. — ISBN 978-3-030-55187-2.

4. Лобановский В. В. Бесконечный матч. — 3-е изд. — Москва : Физкультура и спорт, 1991. — ISBN 978-5-699-31107-1.

5. The evolution of physical and technical performance parameters in the English Premier League / C. Barnes [и др.] // International journal of sports medicine. — 2014. — Т. 35, № 13. — С. 1095—1100.

6. Real-time Analysis of Physical Performance Parameters in Elite Soccer / K. Andreassen [и др.] // 2019 International Conference on Content-Based Multimedia Indexing (CBMI). — IEEE. 2019. — С. 1—6.

7. Computer vision for sports: Current applications and research topics / G. Thomas [и др.] // Computer Vision and Image Understanding. — 2017. — Апр. — Т. 159. — DOI: 10.1016/j.cviu.2017.04.011.

8. Hughes M., Bartlett R. The use of performance indicators in performance analysis // Journal of sports sciences. — 2002. — Нояб. — Т. 20. — С. 739— 54. — DOI: 10.1080/026404102320675602.

9. Team's Performance on FIFA U17 World Cup 2011: Study based on Notational Analysis / F. Clemente [и др.] // Journal of Physical Education and Sport. — 2012. — Март. — Т. 12. — С. 13—17.

10. Carling C. Interpreting Physical Performance in Professional Soccer MatchPlay: Should We be More Pragmatic in Our Approach? // Sports medicine (Auckland, N.Z.) — 2013. — Май. — Т. 43. — DOI: 10.1007/s40279-013-0055-8.

11. Anthropometric and Physiological Characteristics of Young Soccer Players According to Their Playing Positions: Relevance for Competition Success / C. Penas [и др.] // Journal of strength and conditioning research / National Strength and Conditioning Association. — 2011. — Нояб. — Т. 25. — С. 3358— 67. — DOI: 10.1519/JSC.0b013e318216305d.

12. Physical Fitness, Injuries, and Team Performance in Soccer / A. Arnason [и др.] // Medicine and science in sports and exercise. — 2004. — Март. — Т. 36. — С. 278—85. — DOI: 10.1249/01.MSS.0000113478.92945.CA.

13. Isokinetic Strength and Anaerobic Power of Elite, Subelite and Amateur French Soccer Players / G. Cometti [и др.] // International journal of sports medicine. — 2001. — Янв. — Т. 22. — С. 45—51. — DOI: 10.1055/s-2001-11331.

14. Small-sided games in soccer: amateur vs. professional players' physiological responses, physical and technical analysis / D. A [и др.] //. — Янв. 2012.

15. Technical performance during soccer matches of the Italian Serie A league / E. Rampinini [и др.] // Journal of science and medicine in sport / Sports Medicine Australia. — 2007. — Дек. — Т. 12. — С. 227—33. — DOI: 10.1016/ j.jsams.2007.10.002.

16. Analysis of High Intensity Activity in Premier League Soccer / V. Di Salvo [и др.] // International journal of sports medicine. — 2009. — Февр. — Т. 30. — С. 205—12. — DOI: 10.1055/s-0028-1105950.

17. Influence of certain tactical attacking patterns on the result achieved by the teams participants of the 2010 FIFA World Cup in South Africa / A. Jankovic [и др.] // Fizicka kultura. — 2011. — Янв. — Т. 65. — С. 34—45. — DOI: 10.5937/fizkul1101034J.

18. High-Intensity Activity Profiles of Elite Soccer Players at Different Performance Levels / P. Bradley [и др.] // Journal of strength and conditioning research / National Strength & Conditioning Association. — 2009. — Нояб. — Т. 24. — С. 2343—51. — DOI: 10.1519/JSC.0b013e3181aeb1b3.

19. James N. Notational analysis in soccer: past, present and future. // International Journal of Performance Analysis in Sport. — 2006. — Нояб. — Т. 6. — С. 67—81. — DOI: 10.1080/24748668.2006.11868373.

20. Yiannakos A., Armatas V. Evaluation of the goal scoring patterns in European Championship in Portugal 2004 // International Journal of Performance Analysis in Sport. — 2006. — Июнь. — Т. 6. — С. 178—188. — DOI: 10. 1080/24748668.2006.11868366.

21. GOAL SCORING PATTERNS IN GREEK TOP LEVELED SOCCER MATCHES / V. Armatas [и др.] // Citius Altius Fortius. — 2009. — Июнь. — Т. 23.

22. Peñas C, A D. Ball Possession Strategies in Elite Soccer According to the Evolution of the Match-Score: the Influence of Situational Variables // Journal of Human Kinetics. — 2010. — Янв. — Т. 25. — С. 93—100. — DOI: 10.2478/ v10078-010-0036-z.

23. The influence of match location, quality of opposition, and match status on technical performance in professional association football / J. Taylor [и др.] // Journal of sports sciences. — 2008. — Авг. — Т. 26. — С. 885—95. — DOI: 10.1080/02640410701836887.

24. Peñas C, Acero R. Determinants of possession of the ball in soccer // Journal of sports sciences. — 2007. — Авг. — Т. 25. — С. 969—74. — DOI: 10.1080/ 02640410600944626.

25. Taylor J., Mellalieu S., James N. A Comparison of Individual and Unit Tactical Behaviour and Team Strategy in Professional Soccer // International Journal of Performance Analysis in Sport. — 2005. — Нояб. — Т. 5. — С. 87— 101. — DOI: 10.1080/24748668.2005.11868329.

26. Hughes M, Franks I. Analysis of passing sequences, shots and goals in soccer // Journal of sports sciences. — 2005. — Июнь. — Т. 23. — С. 509—14. — DOI: 10.1080/02640410410001716779.

27. Action Classification in Soccer Videos with Long Short-Term Memory Recurrent Neural Networks / M. Baccouche [h gp.] //. — CeHT. 2010. — C. 154—159. — DOI: 10.1007/978-3-642-15822-3_20.

28. Recurrent neural network based language model / T. Mikolov [h gp.] // Eleventh annual conference of the international speech communication association. — 2010.

29. Lowe D. G. Distinctive image features from scale-invariant keypoints // International journal of computer vision. — 2004. — T. 60, № 2. — C. 91— 110.

30. Staudemeyer R. C, Morris E. R. Understanding LSTM-a tutorial into Long Short-Term Memory Recurrent Neural Networks // arXiv preprint arXiv:1909.09586. — 2019.

31. Action categorization in soccer videos using string kernels / L. Ballan [h gp.] // 2009 Seventh International Workshop on Content-Based Multimedia Indexing. — IEEE. 2009. — C. 13—18.

32. Agyeman R., Muhammad R., Choi G. S. Soccer Video Summarization Using Deep Learning // 2019 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR). — IEEE. 2019. — C. 270—273.

33. Adaptive pattern recognition in real-time video-based soccer analysis / M. Schlipsing [h gp.] // Journal of Real-Time Image Processing. — 2017. — T. 13, № 2. — C. 345—361.

34. An introduction to the Kalman filter / G. Welch, G. Bishop [h gp.]. — 1995.

35. Wold S., Esbensen K., Geladi P. Principal component analysis // Chemometrics and intelligent laboratory systems. — 1987. — T. 2, № 1—3. — C. 37—52.

36. Birchfield S. T, Rangarajan S. Spatiograms versus histograms for region-based tracking // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). T. 2. — IEEE. 2005. — C. 1158—1163.

37. Soccer Video Structure Analysis by Parallel Feature Fusion Network and Hidden-to-Observable Transferring Markov Model / M. Fani [h gp.] // IEEE Access. — 2017. — T. 5. — C. 27322—27336. — DOI: 10.1109/ACCESS.2017. 2769140.

38. Sparse autoencoder / A. Ng [h gp.] // CS294A Lecture notes. — 2011. — T. 72, № 2011. — C. 1—19.

39. SoccerNet: A Scalable Dataset for Action Spotting in Soccer Videos / S. Giancola [h gp.] // CoRR. — 2018. — T. abs/1804.04527. — arXiv: 1804. 04527. — URL: http://arxiv.org/abs/1804.04527.

40. Deep Residual Learning for Image Recognition / K. He [h gp.] // CoRR. — 2015. — T. abs/1512.03385. — arXiv: 1512.03385. — URL: http://arxiv.org/ abs/1512.03385.

41. Visual Reasoning on Complex Events in Soccer Videos Using Answer Set Programming / A. Khan [h gp.] // GCAI 2019 Global Conference on Artificial Intelligence. T. 65. — EasyChair. 2019. — C. 42—53.

42. You only look once: Unified, real-time object detection / J. Redmon [h gp.] // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2016. — C. 779—788.

43. Kowalski R., Sergot M. A logic-based calculus of events // Foundations of knowledge base management. — Springer, 1989. — C. 23—55.

44. SVM-based soccer video summarization system / H. M. Zawbaa [h gp.] // 2011 Third World Congress on Nature and Biologically Inspired Computing. — IEEE. 2011. — C. 7—11.

45. Hartigan J. A., Wong M. A. Algorithm AS 136: A k-means clustering algorithm // Journal of the Royal Statistical Society. Series C (Applied Statistics). — 1979. — T. 28, № 1. — C. 100—108.

46. Retrieval of Similar Scenes Based on Multimodal Distance Metric Learning in Soccer Videos / T. Haruyama [h gp.] // Proceedings Proceedings of the 2nd International Workshop on Multimedia Content Analysis in Sports. — 2019. — C. 10—15.

47. Efficient estimation of word representations in vector space / T. Mikolov [h gp.] // arXiv preprint arXiv:1301.3781. — 2013.

48. Highlight events detection in soccer video using HCRF / X. Qian [h gp.] // Proceedings of the Second International Conference on Internet Multimedia Computing and Service. — 2010. — C. 171—174.

49. A Context-Aware Loss Function for Action Spotting in Soccer Videos / A. Cioppa [h gp.] // arXiv preprint arXiv:1912.01326. — 2019.

50. Hadian M, Kasaei S. Fast homography refinement in soccer videos // 2015 9th Iranian Conference on Machine Vision and Image Processing (MVIP). — IEEE. 2015. — C. 185—188.

51. Pandya D. S., Zaveri M. A. A novel framework for semantic analysis of an illumination-variant soccer video // EURASIP Journal on Image and Video Processing. — 2014. — T. 2014, № 1. — C. 49.

52. Offensive strategy in soccer video / J. Wang [h gp.]. — 2015.

53. Automatic Statistics Extraction for Amateur Soccer Videos / J. C. van Gemert, J. G. Schavemaker, K. Bonenkamp [h gp.] // Measuring Behavior 2014. — 2014.

54. Shi J., Malik J. Normalized cuts and image segmentation // IEEE Transactions on pattern analysis and machine intelligence. — 2000. — T. 22, № 8. — C. 888—905.

55. Pose flow: Efficient online pose tracking / Y. Xiu [h gp.] // arXiv preprint arXiv:1802.00977. — 2018.

56. Kocabas M, Karagoz S., Akbas E. MultiPoseNet: Fast Multi-Person Pose Estimation Using Pose Residual Network // Computer Vision -ECCV 2018. 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part XI. — CeHT. 2018. — C. 437—453. — ISBN 978-3-030-01251-9. — DOI: 10.1007/978-3-030-01252-6_26.

57. Panoptic Studio: A Massively Multiview System for Social Interaction Capture / H. Joo [h gp.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2017.

58. Multiple object tracking: A literature review / W. Luo [h gp.] // arXiv preprint arXiv:1409.7618. — 2014.

59. Spatially supervised recurrent convolutional neural networks for visual object tracking / G. Ning [h gp.] // 2017 IEEE International Symposium on Circuits and Systems (ISCAS). — IEEE. 2017. — C. 1—4.

60. Andriluka M, Roth S., Schiele B. People-tracking-by-detection and people-detection-by-tracking // 2008 IEEE Conference on computer vision and pattern recognition. — IEEE. 2008. — C. 1—8.

61. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields / Z. Cao [h gp.] // CoRR. — 2018. — T. abs/1812.08008. — arXiv: 1812.08008. — URL: http://arxiv.org/abs/1812.08008.

62. Learning to Refine Human Pose Estimation / M. Fieraru [h gp.] // 2018 IEEE Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2018, Salt Lake City, UT, USA, June 18-22, 2018. — IEEE Computer Society, 2018. — C. 205—214. — DOI: 10 . 1109 / CVPRW. 2018. 00058. — URL: http://openaccess.thecvf.com/content%5C_cvpr%5C_2018% 5C_workshops/w6/html/Fieraru%5C_Learning%5C_to%5C_Refine%5C_ CVPR%5C_2018%5C_paper.html.

63. Pedestrian Dynamic and Kinematic Information Obtained from Vision Sensors / S. G. Konrad [h gp.] // 2018 IEEE Intelligent Vehicles Symposium (IV). — 2018. — C. 1299—1305. — DOI: 10.1109/IVS.2018.8500527.

64. Pose2Seg: Detection Free Human Instance Segmentation / S. Zhang [h gp.] // IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, Long Beach, CA, USA, June 16-20, 2019. — Computer Vision Foundation / IEEE, 2019. — C. 889—898. — DOI: 10.1109/CVPR.2019.00098. — URL: http: //openaccess.thecvf.com/content%5C_CVPR%5C_2019/html/Zhang% 5C_Pose2Seg%5C_Detection%5C_Free%5C_Human%5C_Instance%5C_ Segmentation%5C_CVPR%5C_2019%5C_paper.html.

65. Im2Avatar: Colorful 3D Reconstruction from a Single Image / Y. Sun [h gp.] // CoRR. — 2018. — T. abs/1804.06375. — arXiv: 1804.06375. — URL: http: //arxiv.org/abs/1804.06375.

66. Learnable Triangulation of Human Pose / K. Iskakov [h gp.] // CoRR. — 2019. — T. abs/1905.05754. — arXiv: 1905.05754. — URL: http://arxiv.org/ abs/1905.05754.

67. Similarities and differences between musculoskeletal simulations of OpenSim and AnyBody modeling system / K. Younguk [h gp.] // Journal of Mechanical Science and Technology. — 2018. — ^eK. — T. 32. — C. 6037—6044. — DOI: 10.1007/s12206-018-1154-0.

68. Generalizing Monocular 3D Human Pose Estimation in the Wild / L. Wang [h gp.] // arXiv preprint arXiv:1904.05512. — 2019.

69. XNect: real-time multi-person 3D motion capture with a single RGB camera / D. Mehta [h gp.] // ACM Transactions on Graphics. — 2020. — Mro^b. — T. 39. — DOI: 10.1145/3386569.3392410.

70. Action Classification in Soccer Videos with Long Short-Term Memory Recurrent Neural Networks / M. Baccouche [h gp.] //. — CeHT. 2010. — C. 154—159. — DOI: 10.1007/978-3-642-15822-3_20.

71. Soccer video and player position dataset / S. A. Pettersen [h gp.] // Proceedings of the 5th ACM Multimedia Systems Conference. — ACM. 2014. — C. 18—23.

72. Deepcut: Joint subset partition and labeling for multi person pose estimation / L. Pishchulin [h gp.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. — 2016. — C. 4929—4937.

73. Medsker L, Jain L. Recurrent neural networks: design and applications. — CRC Press, 1999.

74. Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. — 1997. — T. 9, № 8. — C. 1735—1780.

75. Bottou L. Large-Scale Machine Learning with Stochastic Gradient Descent // Proc. of COMPSTAT. — 2010. — ^hb. — DOI: 10.1007/978-3-7908-2604-3_16.

76. Microsoft coco: Common objects in context / T.-Y. Lin [h gp.] // European conference on computer vision. — Springer. 2014. — C. 740—755.

77. Fast optical flow using dense inverse search / T. Kroeger [h gp.] // European Conference on Computer Vision. — Springer. 2016. — C. 471—488.

78. Performance Assessment of a People Tracker for Social Robots / A. Antonucci [h gp.] // 2019 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). — IEEE. 2019. — C. 1—6.

79. Integrating graph partitioning and matching for trajectory analysis in video surveillance / L. Lin [h gp.] // IEEE transactions on Image Processing. — 2012. — T. 21, № 12. — C. 4844—4857.

80. Kalman R. E. [h gp.] A new approach to linear filtering and prediction problems // Journal of basic Engineering. — 1960. — T. 82, № 1. — C. 35—45.

81. Welch G, Bishop G. An Introduction to the Kalman Filter // Proc. Siggraph Course. — 2006. — Янв. — Т. 8.

82. Grewal M. S., Andrews A. P. Kalman Filtering: Theory and Practice with MATLAB. — 4th. — Wiley-IEEE Press, 2014. — ISBN 1118851218.

83. Li X. R., Jilkov V. P. Survey of maneuvering target tracking. Part I. Dynamic models // IEEE Transactions on aerospace and electronic systems. — 2003. — Т. 39, № 4. — С. 1333—1364.

84. Jalles J. T. Structural time series models and the Kalman Filter: a concise review // SSRN Electronic Journal. — 2009. — DOI: 10.2139/ssrn.1496864.

85. Criminisi A., Reid I., Zisserman A. Single View Metrology // Int. J. Comput. Vision. — USA, 2000. — Нояб. — Т. 40, № 2. — С. 123—148. — DOI: 10.1023/A: 1026598000963. — URL: https://doi.org/10.1023/A:1026598000963.

86. Коренев Г. В. О движениях человека, достигающих наперед заданной цели // Автомат. и телемех. — 1972. — Т. 6. — С. 131—142. — URL: http: //www.mathnet.ru/php/archive.phtml?wshow=paper&jrnid=at&paperid= 8873&option_lang=rus.

87. Формальский А. Перемещение антропоморфных механизмов. Вып. 6 / под ред. Наука. — 1982. — С. 362.

88. Seth A. [и др.] OpenSim: Simulating musculoskeletal dynamics and neuromuscular control to study human and animal movement // PLOS Computational Biology. — 2018. — Июль. — Т. 14, № 7. — С. 1—20. — DOI: 10.1371/journal.pcbi.1006223. — URL: https://doi.org/10.1371/journal.pcbi. 1006223.

89. SoccerNet: A Scalable Dataset for Action Spotting in Soccer Videos / S. Giancola [и др.] // The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. — Июнь 2018.

90. Buric M, Pobar M, Ivasic-Kos M. Object detection in sports videos //. — Май 2018. — С. 1034—1039. — DOI: 10.23919/MIPRO.2018.8400189.

91. 3D Human Pose Estimation with 2D Marginal Heatmaps / A. Nibali [и др.] // arXiv preprint arXiv:1806.01484. — 2018.

92. Learnable Triangulation of Human Pose / K. Iskakov [и др.] // CoRR. — 2019. — Т. abs/1905.05754. — arXiv: 1905.05754. — URL: http://arxiv.org/ abs/1905.05754.

93. Monocular 3D Human Pose Estimation Using Transfer Learning and Improved CNN Supervision / D. Mehta [и др.] // CoRR. — 2016. — Т. abs/1611.09813. — arXiv: 1611.09813. — URL: http://arxiv.org/abs/1611.09813.

94. 3D human pose estimation in video with temporal convolutions and semi-supervised training / D. Pavllo [и др.] // Conference on Computer Vision and Pattern Recognition (CVPR). — 2019.

95. Hochreiter S., Schmidhuber J. Long short-term memory // Neural computation. — 1997. — Июль. — Т. 9. — С. 1735—1780.

Список рисунков

1.1 Кадр из футбольной трансляции высокого разрешения...... 8

2.1 Пример представления персоны в виде вектора........... 21

2.2 Иллюстрация работы свёрточной нейронной сети ......... 28

2.3 Пример работы рекуррентной нейронной сети с одним скрытым слоем................................... 29

2.4 Схема модуля LSTM. q - значение состояние ячейки, h -значение скрытого состояния ячейки, Xt - значение t-го элемента вектора последовательности, ft - вентиль забывания, it - вентиль входа, Of - вентиль выхода....................... 30

2.5 Архитектура YOLO .......................... 32

2.6 Схема работы YOLO.......................... 33

2.7 Архитектура OpenPose......................... 34

3.1 Блок - схема алгоритма построения 2D моделей людей...... 37

3.2 Кадр фрагмента видео......................... 44

3.3 Предобработанный кадр........................ 45

3.4 Кадр, обработанный при помощи YOLO и OpenPose........ 45

3.5 Суставы скелетной модели человека, используемые в OpenPose (CMU-Perceptual-Computing-Lab, 2017) ............... 46

3.6 Иллюстрация работы YOLO и OpenPose на изображении одного футболиста ............................... 48

3.7 Пример временной последовательности одного из сустава футболиста ............................... 48

3.8 Пример временной последовательности одного из сустава футболиста относительно центра масс ................ 49

3.9 Пример момента передачи мяча ................... 50

3.10 Иллюстрация работы скользящего окна ............... 50

3.11 Пример кадра из трансляции футбольного матча, использованной для сравнительного расчета Optical Flow с использованием двух различных алгоритмов ............ 52

3.12 Пример Optical Flow, расчитанный с помощью алгоритма Dense-Inverse-Search .......................... 52

3.13 Результат использования алгоритма DeepFlow для расчета

Optical Flow ............................... 53

3.14 Полученные двумерные скелеты для футбольной трансляции и системы видеонаблюдения супермаркета. Желтые прямоугольники соответствуют объектам, обнаруженным OpenPose. Зеленые прямоугольники соответствуют объектам, обнаруженным с помощью YOLO................... 55

3.15 a) Координата U обнаруженной и отфильтрованной траектории голеностопного сустава движущегося человека в поле зрения наружной камеры видеонаблюдения b) Координата U обнаруженной и отфильтрованной траектории коленного сустава движущегося человека в поле зрения наружной камеры

видеонаблюдения ......................................................56

3.16 a) График координаты U измеренной и отфильтрованной

траектории запястья идущего человека b) График координаты

U измеренной и отфильтрованной траектории локтя футболиста. 57

4.1 Определение ROI для обнаруженных фигур игроков................60

4.2 Отслеживание людей на ленте эскалатора............................62

4.3 Верхнее расположение камеры........................................63

5.1 DNN - нейронная сеть, состоящая только из полносвязных слоев . 66

5.2 Рекуррентная нейронная сеть на основе модулей LSTM............66

5.3 Двунаправленная рекуррентная нейронная сеть на основе

модулей LSTM ..........................................................66

5.4 Сверточная нейронная сеть, состоящая из двух сверточных

слоев и двух слоев пулинга............................................67

5.5 Комбинация из сверточного слоя и слоя LSTM......................67

5.6 Используемая LSTM сеть..............................................69

5.7 Выполнение ТТД G1 "Финт влево"....................................69

5.8 Выполнение ТТД G3 "Ввод мяча из аута"............................70

5.9 Выполнение ТТД G4 "Подкат"........................................70

Список таблиц

1 Количественные метрики оценки траекторий 2Э скелетов..... 58

2 Сравнение затрат вычислительных ресурсов для обучения и использования.............................. 68

3 Матрица неточностей для обучающей выборки в случае четырех типов ТТД................................ 71

4 Матрица неточностей для экспериментальной выборки в случае четырех типов ТТД........................... 71

5 Значения метрик для обучающей и экспериментальной выборки . 72

6 Матрица сопряженности для четырех использованных классов . . 72