Интерфейс бесконтактного человеко-машинного взаимодействия на основе данных сенсора-дальномера тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Котюжанский, Леонид Анатольевич

• Котюжанский, Леонид Анатольевич
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Котюжанский, Леонид Анатольевич

ОГЛАВЛЕНИЕ

Основные термины, обозначения и сокращения

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ ПОДХОДОВ К СОЗДАНИЮ СИСТЕМ ЗАХВАТА ДВИЖЕНИЯ

1.1. Маркерные системы захвата движения

1.2. Безмаркерные системы захвата движений

1.3. Возможности сенсора-дальномера для создания

бесконтактного интерфейса

1.4. Алгоритмы и методы стереозрения для получения карты глубины изображения

ГЛАВА 2 АРХИТЕКТУРА И АЛГОРИТМЫ БЕСКОНТАКТНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

2.1. Общая архитектура системы бесконтактного управления

2.2. Общая архитектура модуля распознавания

2.3. Предварительная обработка входных данных

2.4. Верификация вероятного пользователя. Поиск лица пользователя в окрестности точки CtdH

2.5. Алгоритм распознавания вытянутых рук

2.6. Алгоритм распознавания пальцев

2.7. Методы фильтрации центроида руки и определение координат управляющего курсора пользователя

2.8. Алгоритм детектирования прикосновения к поверхности путем анализа карты глубины. Программный прототип сенсорного экрана на любой поверхности

ГЛАВА 3 КОНЦЕПЦИЯ И РЕАЛИЗАЦИЯ ПРИКЛАДНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ БЕСКОНТАКТНОГО УПРАВЛЕНИЯ

3.1. Система жестов и особенности бесконтактного управления

3.2. VisionTouch Gallery - интерактивная витрина на базе бесконтактного управления. Предпосылки к разработке

3.3. Системные требования и рекомендации по использованию VisionTouch Gallery

3.4. Описание функционала VisionTouch Gallery

3.5. Особенности программной реализации VisionTouch Gallery и результаты тестирования алгоритмов

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Основные термины, обозначения и сокращения

Бесконтактное управление - в контексте данной работы управление программным обеспечением посредством движения рук пользователя на расстоянии от 0,5 до 3 м перед сенсором. При этом на руках пользователя отсутствуют какие-либо датчики, фиксирующие движение. Распознавание жестов происходит посредством анализа данных с сенсора-дальномера.

Сенсор-дальномер - в контексте данной работы это оптическое устройство определяющее расстояние от наблюдателя до всех, видимых в поле зрения сенсора, объектов. Как результат своей работы такой сенсор возвращает полутоновое изображение - карту глубины и массив точек трехмерного пространства.

Распознавание жестов - идентификация движения пользователя (движения рук, количества видимых рук и пальцев) посредством анализа данных с сенсора-дальномера для возможности управления программным обеспечением.

Захват движения - определение положения частей тела человека и формирование кинематической модели для возможности ее использования в системах управления жестами и 3D анимации.

Шейдер — программа, выполняемая на ГПУ.

GLSL (OpenGL Shading Language) - высокоуровневый язык программирования шейдеров. Используется для написания программ обработки изображений в области компьютерной графики и машинного зрения.

Kinect - сенсор, изначально разработанный компанией Microsoft в качестве игрового контроллера. Сочетает в себе два отдельных сенсора - цветную камеру и дальномер с инфракрасным прожектором.

SDK (Software Development Kit) - комплект средств разработки программных продуктов, позволяющий создавать приложения определенного типа и направленности.

OpenCV (Open Source Computer Vision Library) - библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего

назначения с открытым кодом.

OpenGL (Open Graphics Library) - открытая графическая библиотека, предоставляющая программный интерфейс для написания приложений, использующих двумерную и трехмерную графику. Обеспечивает аппаратное ускорение при визуализации 2D и 3D графики.

ГПУ (GPU - Graphics Processing Unit) - отдельное устройство персонального компьютера или игровой приставки, выполняющее графический рендеринг и параллельные вычисления.

ЦПУ (CPU - Central Processing Unit) - центральный процессор компьютера.

Трекинг - отслеживание объектов в поле зрения сенсора, как правило, с присвоением отслеживаемому объекту целочисленного номера.

Blob или блоб ~ сегментированный фрагмент (регион) изображения. Сегментация происходит согласно отклонениям по яркости, контрасту, цвету на изображении.

Медианный фильтр - цифровой фильтр, используемый для обработки сигналов и изображений для уменьшения уровня шума.

Фильтр Калмана - эффективный рекурсивный фильтр, корректирующий вектор состояния динамической системы.

Метод Виолы-Джонса - метод детектирования объектов на изображении на основе использования признаков Хаара.

Введение диссертации (часть автореферата) на тему «Интерфейс бесконтактного человеко-машинного взаимодействия на основе данных сенсора-дальномера»

ВВЕДЕНИЕ

Актуальность исследования. В настоящее время все большее значение приобретают новые в концептуальном и в программно-аппаратном плане формы человеко-машинного взаимодействия [1,2], требующие создания новых интерфейсов [3, 4, 5], в основном меню которых не используются шаблоны или панели инструментов, а, напротив, при задании спецификаций, операций и операндов акцент переносится на обучающие примеры, интуитивность, жесты [6, 7, 8] и распознавание речи [9, 10].

Концепция подобных интерфейсов получила название естественный пользовательский интерфейс. Основной целью естественного интерфейса является минимизация использования механизмов манипулирования преобладающих в сегодняшних интерфейсах и сокращение «когнитивной» дистанции между намерением и реализацией этого намерения. Иными словами, требуется дать пользователю возможность сосредоточиться на его задаче, а не на технологии, необходимой для специфицирования этой задачи.

Естественный человеко-машинный интерфейс подразумевает интерфейс, который является для пользователя объективно невидимым или становится невидимым в процессе обучения, реализуя возможность управлять компьютерными приложениями или манипулировать содержимым экрана при помощи естественных движений или жестов. Распознавание жестов имеет много преимуществ перед другими средствами управления, такими как клавиатура, мышь или сенсорный экран: большее количество степеней свободы для управления, отсутствие механического износа устройств управления, удобная возможность одновременной работы нескольких пользователей.

Для некоторых типов устройств и приложений управление жестами является более практичным и интуитивным выбором. Например, при управлении мобильным роботом основные команды, такие как «идти вперед (назад)», «увеличить (уменьшить) скорость», могут наиболее эффективно выражаться в форме жестов [10, 11, 12]. Использование жестов напрашивается при работе с графическим содержимым [13, 14] для выполнения операций вращения [15],

перемещения и масштабирования [16]; в компьютерных играх [17, 18] и других приложениях, где происходит взаимодействие с виртуальной реальностью [19,20,21]; в работе терминалов для быстрого ознакомления с информацией в местах массового скопления людей.

Исследования в области естественных интерфейсов управления жестами стали появляться еще в конце восьмидесятых годов, в частности была представлена сенсорная перчатка [22], позволяющая отслеживать сгибание пальцев и положение ладони пользователя посредством ультразвуковых датчиков для манипулирования виртуальным содержимым (Thomas G. Zimmerman). В ряде работ (Laura Dipietro, Angelo M, Hoa Phan, Jeffrey Ellen, Mike Bruch) описывалось управление при помощи жестов посредством закрепленных на руке человека сенсоров - магнитных [23, 24, 25], инерционных [26], ультразвуковых [27], инфракрасных [28] и прочих видов датчиков [29, 30, 31, 32]. Обладая, как правило, высокой точностью отслеживания, что имеет решающее значение в системах захвата движения, использующихся в киноиндустрии и компьютерных играх, этот подход показал целый ряд недостатков. В частности, механическая составляющая устройств подвержена физическому износу, имеют место определенные неудобства для пользователя при длительном применении, зависимость конструктива от конституции конкретного пользователя, высокая стоимость устройств.

Альтернативой данному решению является использование технологий машинного зрения и обработки изображения для отслеживания положения рук, пальцев и других частей тела при помощи различных оптических сенсоров, находящихся на некотором расстоянии от пользователя. С середины девяностых годов [33,34,35,36] появляется тенденция к использованию веб-камер как инструмента взаимодействия с компьютером (R. Cipolla [37, 38], A. Pentland [39], Lars Bretzner [40], Ivan Laptev, Tony Lindeberg, Vincent John Vincent).

Рассматривая преимущества и недостатки использования оптической камеры в качестве сенсора жестов, следует отметить высокую зависимость качества распознавания [41] от окружающего пространства, сложности фона и

уровня освещенности. Отсутствие равномерного освещения достаточной степени яркости и наличие сложного, движущегося фона сильно снижает качество работы даже самых высококачественных [42] и сложных алгоритмов машинного зрения. Кроме того, сложные рекурсивные и иерархические алгоритмы распознавания жестов часто являются ресурсоемкими [43, 44, 45, 46, 47, 48, 49], а их программные реализации выдают производительность на уровне нижнего предела (около 15-30 кадров в секунду) реального времени даже на высокопроизводительных компьютерах. В то же время «веб-камера» сегодня является стандартным оборудованием для большинства существующих моделей ноутбуков, планшетов, телефонов. Поэтому в сочетании с постоянным ростом вычислительной мощности элементной базы компьютеров веб-камера по-прежнему является привлекательным решением в качестве сенсора управления мультимедийным контентом.

Наибольший рост количества практических приложений [50, 51, 52, 53], реализующих технологии распознавания пользователей и жестов, в последнее время связан с разработкой компании Microsoft - сенсором-дальномером Kinect [54, 55, 56, 57] (2010-2012 г.г.), позволяющим получить

трехмерную [58,59,60,61,62] видео информацию в виде карты глубины [63,64, 65,66] или трехмерного облака точек видимого сенсору пространства.

Именно трехмерность данных позволяет решить одну из основных и весьма сложных задач машинного зрения - отсечение заднего фона [67, 68, 69, 70] и сегментацию [71, 72, 73] объектов для их последующего анализа.

Сегодня имеется ряд частных решений отдельных аспектов распознавания жестов, однако острой остается проблема повышенной ресурсоемкости реализованных алгоритмов, надежности, низкой интуитивности и ограниченной точности наведения курсора на элементы интерфейса.

Настоящая работа сфокусирована на преодоление описанных выше трудностей, развивая идею разработки универсальной системы эффективного бесконтактного управления компьютером.

Цель и задачи исследования

Целью работы является создание эффективного интерфейса бесконтактного человеко-машинного взаимодействия.

Для достижения этой цели потребовалось решение следующих задач:

1) разработать концепцию системы управления жестами на основе данных сенсора-дальномера;

2) предложить модель интерфейса бесконтактного управления программным обеспечением на основе обработки данных сенсора-дальномера;

3) предложить методы детектирования физических объектов, участвующих в формировании жеста: пользователь, руки, пальцы и прикосновений к поверхности;

4) разработать программные модули, осуществляющие необходимые действия для эффективного управления жестами:

• отслеживание пользователя;

• распознавание вытянутых рук пользователя;

• распознавание пальцев пользователя;

• детектирование жестов;

5) разработать программное обеспечение для реализации модели интерфейса бесконтактного управления, интегрирующее программные модули распознавания;

6) разработать программное обеспечение детектирования прикосновений к поверхности для создания сенсорных мультитач экранов;

7) получить значения эмпирических параметров методов распознавания физических объектов и экспериментальные зависимости, подтверждающие эффективность разработанных алгоритмов.

Методы исследования

Для решения выше указанных задач использовались методы математического моделирования и вычислительного эксперимента,

математическая статистика и математический анализ, цифровая обработка изображений, элементы теории алгоритмов, объектно-ориентированный анализ, компонентно-ориентированное программирование и др. Алгоритмизация распознавания изображений проводилась с использованием библиотеки ОрепСУ [74, 75, 76, 77, 78], протокола ЕГОР и языков программирования С++ и

Содержание работы по главам

В первой главе приведен обзор существующих методов отслеживания частей тела пользователя во время движения. В отдельном параграфе описываются функциональные особенности сенсора-дальномера Клпес!:, используемого в работе, рассматривается возможная альтернатива Ктесг -использование стереокамер. Приводится краткий обзор алгоритмов стереозрения, позволяющих получить карту глубины изображения (расстояния от стереокамеры до соответствующей точки реальной сцены) с двух камер. Указаны преимущества и ограничения известных активных и пассивных методов восстановления информации о глубине реальной сцены.

Предложен метод вычисления карты глубины, основанный на использовании двух одномерных разреженных окон - вертикального и горизонтального, позволяющий существенно увеличить скорость вычислений.

Вторая глава посвящена построению общей архитектуры системы бесконтактного управления, основанной на многоступенчатом анализе данных с сенсора-дальномера для детектирования пользователя, определения координат его рук и пальцев, последующего анализа найденных координат для формирования управляющих команд. Управляющие команды подаются к исполнению при определенных жестах пользователей, простейшими из которых являются различные махи руками. Концепция системы разделяет её архитектуру на два связанных между собой модуля - передатчик и приемник, функционирование которых осуществляется на основе алгоритмов анализа трехмерного облака точек, видимых сенсору, для сегментирования данных и формирования из глобального

облака иерархической системы под-облаков для дальнейшего детектирования определенных жестов и генерирования соответствующих команд управления.

В третьей главе описывается работа детектора жестов из предложенного конечного множества. Представлены алгоритмы обработки координат точек из выделенных под-облаков, анализа вектор-функций скоростей ладоней (пальцев) пользователя для распознавания того или иного жеста. Предложенная схема фильтрации данных позволила добиться приемлемой точности работы информационной системы, практически полностью устранив резкие ошибочные смещения координат заметные в OpenNi, и Kinect SDK.

Тестирование итогового программного комплекса проводилось для каждого модуля в отдельности и для всей системы в целом. В результате были определены оптимальные значения эмпирических параметров.

В заключении приведена общая характеристика работы и основные выводы по результатам диссертационной работы.

Основные положения, выносимые на защиту:

Общая архитектура системы, базирующаяся на принципе иерархического анализа трехмерного облака точек и их проекций на плоскость изображения, реализованного в алгоритмах, основанных на оригинальных геометрических и аналитических конструктах, позволяет сократить область поиска и обеспечивает высокую надежность распознавания.

Предложенный комплекс простых, интуитивных жестов, протестированный на большом количестве пользователей, удобен для управления на расстоянии. Их алгоритмизация расширяет спектр возможных приложений системы для различных целевых функций.

Распознавание жестов строится на итерационном анализе точечных данных, которые на каждом этапе обработки подвергаются процедурам специальной фильтрации, основанным на законах дифференциальной геометрии, что обеспечивает надежность распознавания и точное управление курсором.

ГЛАВА 1

АНАЛИЗ ПОДХОДОВ К СОЗДАНИЮ СИСТЕМ ЗАХВАТА ДВИЖЕНИЯ

Создание востребованного, удобного и доступного бесконтактного человеко-машинного интерфейса требует использования технологий, способных обеспечить данные свойства. Наиболее перспективными в данном направлении являются технологии, развивающиеся в системах захвата движения. Для определения наиболее подходящих аппаратных решений и разработки эффективных алгоритмов управления необходим анализ существующих систем захвата движением.

Существуют два основных вида систем захвата движения: маркерные, в которых используется специальное оборудование, и безмаркерные [79] системы захвата.

1.1. Маркерные системы захвата движения

В маркерных системах захвата движения (рис. 1-4) человек надевает костюм с датчиками, производит определенные движения, встаёт в условленные позы и производит некоторые действия. Камеры фиксируют данные с датчиков, после чего те поступают в компьютер, где из них формируется единая трёхмерная модель, воспроизводящая движения человека. На основе этой модели в режиме реального времени или позднее создаётся анимация виртуального персонажа [80]. Этот же метод используется для воспроизведения мимики актёра (для этого на его лице закрепляются маркеры, при помощи которых детектируются мимические движения мышц лица).

На текущий момент разработано большое количество маркерных систем захвата движений. Они различаются принципом передачи движений.

■

Рисунок 1 - Магнитные системы захвата движений [81, 82]

Рисунок 2 - Оптическая маркерная система захвата движений:

калибровка актера [83]

Рисунок 3 - Оптическая маркерная система захвата движений: отслеживание мимики по прикрепленным к лицу маркерам [83]

Рисунок 4 - Оптическая маркерная система захвата движений: отслеживание движения различных предметов, размеченных дополнительными маркерами [84]

Существующие маркерные системы захвата движения различаются в используемых принципах отслеживания движений. По данному критерию выделяют оптические пассивные, оптические активные, магнитные, механические, гироскопические системы.

Оптические пассивные системы

В комплект такой системы входит костюм, на который прикреплены датчики-маркеры. Сами датчики не светятся, а только отражают свет, поэтому они названы пассивными [85].

Недостатки пассивных систем:

• размещение маркеров занимает длительное время,

• система может путать маркеры при быстром движении или близком расположении их друг к другу (технологией не предусмотрена идентификация каждого маркера по отдельности).

Оптические активные системы

В таких системах используются светодиоды с радио-синхронизацией и интегрированными процессорами вместо светоотражающих маркеров, крепящихся к костюму актёра [86]. Каждому светодиоду назначается идентификатор, для безошибочного определения ГО маркеров, а также распознавать их после перекрытия и появления в поле зрения камер.

Недостатки активных систем:

• Невозможен захват движений и мимики лица.

• К актёру крепится дополнительный контроллер, сковывающий его движения.

• Высокая стоимость аппаратных компонент и их низкая надежность.

Магнитные системы

В данном случае для захвата используются маркеры-магниты, а в качестве камер используются ресиверы, позиции маркеров высчитываются по искажениям магнитного потока.

Недостатки магнитных систем:

• Подверженность магнитным и электрическим помехам от металлических предметов и окружения.

• Зависимость чувствительности сенсоров от их относительного расположения.

• Стоимость маркеров.

• Меньший размер рабочей зоны, по сравнению с оптическими системами.

• Дополнительный провода, тянущиеся к компьютеру, и контроллеры прикрепленные к актеру.

• Невозможность использования системы для захвата мимики.

Механические системы

Для сбора информации о движениях на актера одевается специальное устройство - механический скелет, который повторяет все его движения, в то же время компьютеру отправляется информация об углах сгибов человеческих суставов (рис. 5 - 6).

Недостатки механических систем:

• Высокая вероятность вывода из строя механики скелета при интенсивном использовании.

• Невозможность работы системы для захвата движений плотного взаимодействия нескольких актеров одновременно, либо движений на полу.

• Отсутствие возможности захвата мимики.

• Механических скелет, сковывающий движения актера, с большим количеством проводов, тянущихся от него к компьютеру.

Рисунок 5 — Специальный механический скелет для отслеживания движения человека [83]

Рисунок 6 - Механическая система захвата движения рук [83]

Гироскопические / инерциальные системы

Для сбора информации о движении в данных системах используются миниатюрные гироскопы и инерциальные сенсоры, расположенные на теле пользователя так же, как маркеры или магниты в других системах захвата движений. Компьютер принимает, обрабатывает и сохраняет информацию с инерциальных сенсоров, при помощи которой можно восстановить положение датчика в пространстве и его относительную ориентацию.

Недостатки гироскопических / инерциальных систем:

• Невозможность использования системы для захвата мимики.

• Стоимость гироскопических сенсоров.

• Большое количество проводов, тянущихся от человека к компьютеру.

1.2. Безмаркерные системы захвата движений

Безмаркерные технологии не требуют специальных датчиков или специального костюма, основаны на технологиях компьютерного зрения и распознавания образов. Благодаря этому становится возможным распознавание и отслеживание движения людей в обычной, не приспособленной специальным образом одежде, что расширяет диапазон применения подобных систем. Существенно упрощается решение задачи создания 3D анимации - ускоряется подготовка к съемкам и появляется возможность захвата движений (борьба, падения, прыжки, и т. п.) без повреждения аппаратных модулей системы. На сегодняшний день имеется ограниченное число безмаркерных систем, пригодных для практического использования, хотя интенсивные исследования в этой области проводятся с середины 90-х годов.

Пользовательское программное обеспечение для безмаркерного захвата движений позволяет обойтись без специфического оборудования, специального освещения и должным образом организованного пространства.

В настоящий момент можно выделить два типа безмаркерных систем по типу используемого сенсора - цветная камера и сенсор-дальномер.

В безмаркерных системах на основе цветной камеры захват движения происходит при помощью обычной оптической камеры и персонального компьютера.

Примером подобной системы является решение компании iPi Soft [87]. Программное обеспечение iPi Motion Capture в качестве входных данных использует изображения, полученные с нескольких камер, располагающихся в пространстве в соответствии с выбранной схемой размещения (рис. 7).

Рисунок 7 - Безмаркерная системы захвата движения компании iPi Soft [87]

Захват движения происходит не в режиме реального времени, а на основе обработки полученных записей. Таким образом, процесс захвата движения включает два этапа - съемка и распознавание объектов на полученном видеоряде. При этом в системах данного типа выдвигаются существенные требования к условиям съемки:

- наличие равномерного освещения достаточной интенсивности,

в пространстве, попадающем в поле зрения камер, не должно быть посторонних объектов.

Кроме того в момент начала съемки человек (актер) для захвата движения должен принять эталонную позу, для распознавания ключевых, опорных точек,

используемых для отслеживания.

Данный тип систем нацелен на создании основы для 3D анимации, а не бесконтактного управления.

Второй тип систем безмаркерного захвата движения для распознавания основан на анализе данных с сенсора-дальномера (одного или нескольких).

Подобное решение реализовано в программных продуктах:

- OpenNI,

- Kinect SDK,

- iPi Soft и другие.

Использование сенсоров-дальномеров позволяет существенно упростить ряд основных задач машинного зрения, используемых в безмаркерных системах захвата движения, а именно - отсечение заднего фона и сегментация объектов на изображении. Вследствие этого данные решения являются менее ресурсоемкими и позволяют осуществлять захват движения в режиме реального времени. Кроме того, использование дальномеров сокращает количество используемых камер во время захвата движения.

В основе данных систем - анализ изображений [88, 89], в том числе для распознавания и отслеживания отдельных объектов полученного образа человека (голова, плечи, локти, кисти, колени, ступни).

Рассмотрим особенности нескольких решений для захвата движения пользователя на основе анализа данных от сенсор-дальномера.

В OpenNI [90] для захвата движения тела необходима изначальная эталонная поза (рис. 8-9) пользователя, которую необходимо удерживать в течение нескольких секунд. В силу того, что форма тела людей уникальна, процесс калибровки (поиск точек на эталонной позе) каждого пользователя длится различное время. Время калибровки может различаться в несколько секунд, что показывает заметную зависимость от антропометрических данных различных пользователей, связанных с площадью поверхности тела. Люди крупной комплекции и высокого роста калибруются значительно быстрее, чем люди более компактного телосложения.

Рисунок 8 - Сидячая калибровочная поза в ОрепЫР калибровка выполнена, цветные пиксели пользователя на карте глубины размечены точками, по которым

построены белые линии [91]

К

1 =■ "ЛГ! •: ' р ТГ

: Щ ;:: Л ! | М1 Г» ¡1 Я ч|»Ж !! Ф*

1 ' # ; 1

*

Н

ы а t Рог хЬ---- ОЮ (-1

1 !

» > и: п|>|

.»•> О"

■

"■1 ' да4"

Рисунок 9 - Калибровочная поза в ОрепМ: время калибровки зависит от формы тела пользователя [91]

Алгоритм, основанный на использовании эталонных поз, распознает пользователя с помощью простого сопоставления.

На следующем этапе происходит отслеживание движений тела на основе одного из алгоритмов трекинга. Основная идея данной группы алгоритмов заключается в следующем: если на первом кадре есть область изображения, детектируемая как рука, то на следующей итерации объект - рука не может сместится достаточно далеко по сравнению с прошлой итерацией. Вследствие этого детектируются только близлежащие области.

Алгоритмы трекинга позволяют добиться высоких результатов в идеальных условиях, но на практике, помимо вышеописанной проблемы калибровки, они дают сбои. Примером является ситуация, когда положение тела по какой-либо причине потеряно. Отмеченные алгоритмы не обеспечивают корректного решения задачи в условиях необходимого выделения распознаваемого объекта среди других объектов или предметов, выходящих на передний план, даже на короткий промежуток времени. Также сложно реализовать надежное отслеживание двух и более человек.

Все вышеперечисленные особенности создают существенные ограничения для использования программного обеспечения в бесконтактном управлении.

Другое решение предложено компанией Microsoft в программном продукте Kinect SDK, основой для него являлся программно-аппаратный комплекс игровой консоли ХВОХЗбО с использованием сенсора Kinect.

Рассмотрим общие принципы этого подхода.

Для устранения ограничений, свойственных OpenNI, в системе Kinect SDK [92] в дополнение к алгоритмам слежения применяется локальный анализ окрестности каждого пикселя для определения частей тела пользователя.

Традиционное распознавание образов (экспертные системы, персептроны [93, 94 95, 96, 97, 98]) использует принимающую решения структуру, которая обучается на множестве образцов. Для обеспечения возможности ее работы предоставляется классификатор с большим количеством значений признаков, которые должны содержать информацию, используемую при детектировании

различных объектов [99, 100]. В большинстве случаев одной из самых сложных задач является определение информативных признаков [101]. Все признаки формулируются с помощью значений

/(x,msv) = + )-c/(x + -f-), (1)

dix) a(x)

где u,v - два вектора смещения, a d{x)— глубина пикселя [102], то есть расстояние от сенсора до точки, проекция которой на плоскость изображения соответствует пикселю х (рис. 10).

Рисунок 10 - Обработка смещений исходного пикселя

Отметим, что смещения нормированы глубиной исходного пикселя с1(х).

Значения f(x,u,v) позволяют численно измерить характеристики трехмерной окрестности пикселя.

Основным этапом создания системы являлось обучение классификатора, известного как «лес решений», являющегося иерархическим массивом деревьев решений. Для каждого дерева проводилось обучение на определенном наборе признаков, полученных из коллекции изображений карт глубины. При этом сами признаки характеризуют определенную часть тела на карте глубины, получаемой

с сенсора. Обучение деревьев было итерационным и продолжалось до тех пор, пока они не стали производить корректное распознавание для определенного фрагмента тела на тестовой коллекции изображений. Обучение деревьев является ресурсоемкой задачей, например время обучения трех деревьев на 1 ООО-ядерном кластере при 1 млн. изображений составляет более 20 часов.

Обученные классификаторы определяют вероятность принадлежности элемента изображения к тому или иному фрагменту тела. Следующий шаг - отбор областей с максимальной вероятностью классификации участка тела. В частности, область будет определена как «нога», если обученное дерево выдает максимум вероятности для этой области. Последний шаг — это определение вероятного расположения суставов между областей, распознанных как часть тела. На рисунке 11 области различных частей тела обозначены различными цветными фрагментами, выделенными на основе максимального значения функции вероятности принадлежности.

Список литературы диссертационного исследования кандидат наук Котюжанский, Леонид Анатольевич, 2014 год

СПИСОК ЛИТЕРАТУРЫ

1. Room ware: towards the next generation of human-Computer interaction based on an integrated design of real and virtual worlds / N. Streitz, P. Tandler, C. Miiller-Tomfelde, S. Konomi // 66th Annual instrumentation symposium for the process industries: M University, Research triangle park, 2001. P. 551 - 576.

2. Multi-touch: a new tactile 2-d gesture interface for human-computer interaction / W. Westerman, J. Elias, A. Hedge // human factors and ergonomics society annual meeting proceedings, 2001. P. 632 - 636.

3. A hybrid human-machine interface for hands-free control of an intelligent wheelchair / L. Wei, H. Huosheng // Int. J. of Mechatronics and automation. 2011. vol. 1,№2. P. 97-111.

4. Perceptual user interfaces using vision-based eye tracking / R. Ruddaraju, A. Haro, K. Nagel, Q. Tran, I. Essa, G. Abowd, E. Mynatt // In proceedings of the fifth international conference on multimodal interfaces (ICMI-PUI'03). - ACM press, 2003. P. 227-233.

5. Hand gesture based interface for aiding visually impaired / M. Panwar // Recent advances in computing and software systems (RACSS), 2012 International conference on, 2012. P. 80 - 85.

6. Vision-based hand gesture recognition for human-computer interaction / X. Zabulis, H. Baltzalcis, A. Argyros // Lawrence erlbaum associates, Inc. (LEA), Series on "Human factors and ergonomics". 2012. P. 34.1 - 34.30.

7. Vision-based interaction with fingers and papers / Z. Zhang // In Proc. International symposium on the CREST Digital Archiving Project, 2003. P. 83 -106.

8. Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems / K. Oka, Y. Sato, H. Koike // IEEE computer graphics and applications. □ 2002. □ vol. 22, № 6. P. 64 - 71.

9. Speech recognition in the human-computer interface / C. Rebman, M. Aiken, C. Cegielski // Information and management. 2003. vol. 40, № 6, P. 509 - 519.

10. Advanced human-computer interface and voice processing applications in

space / J. Payette // Proceedings of the workshop on human language technology, 1994. P. 416-420.

11. Real-Time robotic hand control using hand gestures / J. Raheja, R. Shyam, B. Prasad // Machine learning and computing (ICMLC), 2010 Second international conference on, 2010. P. 12-16.

12. Towards robust speech recognition for human-robot interaction / S. Heinrich, S. Wermter // Proceedings of the IROS2011 workshop on cognitive neuroscience robotics (CNR), 2011. P. 29-34.

13. Integrality and separability of multitouch interaction techniques in 3D manipulation tasks / A. Martinet, G. Casiez, L. Grisoni // IEEE Transactions on visualization and computer graphics. - 2011. - vol. 18, № 3, P. 369 - 380.

14. Nacenta, M. Separability of spatial manipulations in multi-touch interfaces / M. Nacenta, P. Baudisch, H. Benko, A. Wilson // Graphics Interface, ACM Press, 2009. P. 175- 182,.

15. Multi-touch rotation gestures: performance and ergonomics / E. Hoggan, J. Williamson, A. Oulasvirta, M. Nacenta, A. Lehtio // Proceeding CHI '13 proceedings of the SIGCHI conference on human factors in computing systems. 2013. P. 3047 - 3050.

16. Exploring multi-touch gestures for map interaction in mass casualty incidents / E. Artinger, T. Coskun, F. Echtler, S. Nestler, G. Klinker // NFORMATIK 2011 - Informatik schafft communities 41. Jahrestagung der gesellschaft fur informatik. 2011. P. 15.

17. Visual hand gesture interface for computer board game control / Y. Sriboonruang, P. Kumhom, K. Chamnongthai // Consumer electronics, 2006. ISCE '06. 2006 IEEE tenth international symposium on, 2006, P. 1-5.

18. Hand gesture recognition and virtual game control based on 3d accelerometer and EMG sensors / Z. Xu, C. Xiang, W. Wen-hui, Y. Ji-hai, V. Lantz, W. Kong-qiao // Proceedings of the 14th international conference on intelligent user interfaces, 2009. P. 401 - 406.

19. Gesture recognition for virtual reality applications using data gloves and neural networks / J. Weissmann, R. Salomon // Neural networks, 1999. IJCNN '99.

International joint conference on, 1999. P. 2043 - 2046.

20. On the usability of gesture interfaces in virtual reality environments / M. Cabral, C. Morimoto, M. Zuffo // Proceeding CLIHC '05 Proceedings of the 2005 Latin American conference on human-computer interaction, 2005, P. 100 - 108.

21. Static and dynamic hand-gesture recognition for augmented reality applications / S. Reifinger, F. Wallhoff, M. Ablassmeier, T. Poitschke, G. Rigoll // Proceeding HCI'07 Proceedings of the 12th international conference on humancomputer interaction: intelligent multimodal interaction environments, 2007, P. 728 -737.

22. A hand gesture interface device / T. Zimmerman, J. Lanier, C. Blanchard, S. Bryson, Y. Harvill // CHI '87 Proceedings of the SIGCHI/GI conference on human factors in computing systems and graphics interface, 1987, P. 189 - 192.

23. Recognizing the use of portable electrical devices with hand-worn magnetic sensors / T. Maekawa, Y. Kishino, Y. Salcurai, T. Suyama // Proceeding pervasive'11 Proceedings of the 9th international conference on pervasive computing, 2011, P. 276-293.

24. Development of a fingertip glove equipped with magnetic tracking sensors /С. Fahn, H. Sun//Sensors 2010, 2010, P. 1119 - 1140.

25. An electromagnetic imaging system for remote sign language communication / S. Dogramadzi, G. Bell, C. Allen, R. Rowland // In Proceedings of 16th IEEE international conference information and measurement technology, 1999, P. 1443-1446.

26. A survey of glove-based input / D. Sturman, D. Zeltzer // Computer graphics and applications, IEEE, vol. 14, № 1, 1994, P. 30 - 39.

27. Distance-based modeling and manipulation techniques using ultrasonic gloves / T. Hoang, B. Thomas // Proceeding ISMAR '12 Proceedings of the 2012 IEEE International symposium on mixed and augmented Reality (ISMAR), 2012, P. 287 -288.

28. Development of a sensory data glove using neural - network - based calibration / C. Fahn, H. Sun // International Conference on Artificial Reality and

Telexistence, vol. 10, 2000, P. 239 - 245.

29. The development of a low cost data glove by using flexible bend sensor for resistive interfaces / N. Adnan, K. Wan, S. AB, S. Za'ba, H. Desa, M. Aziz // The 2nd International malaysia-ireland joint symposium on engineering, science and business 2012 (IMiEJS2012), 2012, P. 579 - 587.

30. The Chording glove: A glove-based text input device / R. Rosenberg, M. Slater // Journal IEEE Transactions on systems, man, and cybernetics, Part C: applications and reviews, vol. 29, № 2, 1999, P. 186-191.

31. A Low-cost data glove for virtual reality / P. Temoche, E. Ramirez, O. Rodriguez // In proceeding of: XI International congress of numerical methods in enginnering and applied sciences (CIMENICS), 2012, P. 6.

32. The Image - based data glove / V. Pamplona, L. Fernandes, J. Prauchner, L. Nedel, M. Oliviera // In Proceedings of x symposium on virtual reality (SVR'2008), 2008, P. 204-211.

33. Toward a vision-based hand gesture interface / F. Quek // Proceedings of the virtual reality system technology conference, 1994, P. 17 - 29.

34. Visual interpretation of hand gestures for human-computer Interaction / V. Pavlovic, R. Sharma, T. Huang // IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, P. 677 - 695.

35. Use your hand as a 3-d mouse, or, relative orientation from extended sequences of sparse point and line correspondences using the affine trifocal tensor / L. Bretzner, T. Lindeberg // Proc. 5th European Conference on Computer Vision, 1998, P. 141 - 157.

36. Vision-based gesture recognition: a review / Y. Wu, T. Huang // Gesture-based communication in human-computer interaction, 1999, P. 103 - 115.

37. Computer vision for human-machine interaction / R. Cipolla, A. Pentland // Cambridge university press, 1998, P. 345.

38. Model-based hand tracking using a hierarchical bayesian filter / R. Cipolla, B. Stenger, A. Thayananthan, P. Torr // IEEE Transactions on pattern analysis and machine intelligence, 2006, P. 1372 - 84.

1 o 1J J

39. Real-time american sign language recognition from video using hidden markov models / A. Pentland, T. Starner // Computer Vision, 1995. Proceedings, International Symposium on, 1995, P. 265 - 270.

40. Hand gesture recognition using multi-scale colour features, hierarchical models and particle filtering / L. Bretzner, I. Laptev, T. Lindeberg // Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, 2002, P. 423 -428.

41. Hand segmentation techniques to hand gesture recognition for natural human computer interaction / A. Ghotkar, G. Kharate // International journal of human computer interaction (IJHCI), 2012, P. 15-25.

42. Hand gesture recognition based on combined features extraction / M. Elmezain, A. Al-hamadi, B. Michaelis // World academy of science, engineering & technology, vol. 36, 2009, P. 395 - 401.

43. Hand detection using multiple proposals / A. Mittal, A. Zisserman, P. Torr // British machine vision conference, 2011, P. 1-11.

44. Improving adaptive skin color segmentation by incorporating results from face detection / J. Fritsch, S. Lang, M. Kleinehagenbrock, G. Fink, G. Sagerer // In IEEE Workshop on robot and human interactive communication, 2002, P. 7.

45. Vision based real time finger counter for hand gesture recognition / S. Nagarajan, T. Subashini, V. Ramalingam // International journal of technology, vol. 2, №2, 2012, P. 5.

46. Vision based gesture recognition system with high accuracy / X. Li // department of computer science, the university of tennessee, knoxville, TN 37996-3450, 2005, P. 6.

47. HSV brightness factor matching for gesture recognition system / M. Hasan, P. Mishra //International Journal of Image Processing (IJIP), vol. 4, № 5, 2010, P. 456 -467.

48. Brightness factor matching for gesture recognition system using scaled normalization / M. Hasan, P. Mishra // International Journal of Computer Science & Information Technology (IJCSIT), vol. 3, № 2, 2011, P. 35 - 46.

49. Алгоритмы и программы структурного метода обработки данных / В.В. Александров, Н.Д. Горский. - Ленинград: Наука, 1983. 208 с.

50. Using kinect and a haptic interface for implementation of real-time virtual fixtures / F. Ryden, H. Chizeck, S. Kosari, H. King, B. Hannaford // Robotics, science and systems (RSS) Workshop on RGB-D cameras, 2011, P. 5.

51. Using kinect for hand tracking and rendering in wearable haptics / V. Frati, D. Prattichizzo // World haptics conference (WHC), 2011 IEEE, 2011, P. 317 - 321.

52. The potential of kinect in education / H. Hsu // International journal of information and education technology, vol. 1, № 5, 2011, P. 365 - 370.

53. Low cost multimodal facial recognition via kinect sensors / M. Hossny, D. Filippidis, W. Abdelrahman, H. Zhou, M. Fielding, J. Mullins, L. Wei, D. Creighton, V. Puri, S. Nahavandi // In proceeding of: land warfare conference 2012: Potent land force for a joint maritime strategy, 2012, P. 11.

54. Robust hand gesture recognition with kinect sensor / Z. Ren, J. Meng, J. Yuan, Z. Zhang // in Proceedings of the 19th ACM international conference on multimedia, 2011.P.759-760.

55. KinWrite: handwriting-based authentication using kinect / J. Tian, C. Qu, W. Xu, S. Wang // Proceedings of the 20th annual network & distributed system security symposium, NDSS 2013, 2013, P. 18.

56. Human detection using depth information by kinect / L. Xia, C. Chen, J. Agarwal // Computer vision and pattern recognition workshops (CVPRW), 2011 IEEE Computer Society Conference on, 2011, P. 15 - 22.

57. Microsoft kinect sensor and its effect / Z. Zhang // IEEE Computer Society, vol. 19, №2, 2012, P. 4- 12.

58. A category-level 3-D object dataset: putting the kinect to work / A. Janoch, S. Karayev, Y. Jia, J. Barron, M. Fritz, K. Saenko, T. Darrell // Computer vision workshops (ICCV Workshops), 2011 IEEE International conference on, 2011, P. 1168 -1174.

59. 3d with kinect / J. Smisek, M. Jancosek, T. Pajdla // Computer vision workshops (ICCV Workshops), 2011 IEEE International conference on, 2011, P. 1154 -1160.

60. KinectFusion: real-time 3D reconstruction and interaction using a moving depth camera / S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodges, D. Freeman, A. Davison, A. Fitzgibbon // UIST '11 Proceedings of the 24th annual ACM symposium on user interface software and technology, 2011, P. 559-568.

61. 3d is here: point cloud library (PCL) /, R. Rusu, S. Cousins // Robotics and automation (ICRA), 2011 IEEE international conference on, 2011, P. 1 - 4.

62. RGB-D mapping: using depth cameras for dense 3d modeling of indoor environments / P. Henry, M. Krainin, E. Herbst, X. Ren, D. Fox // Proc. of international symposium on experimental robotics (ISER), 2010, P. 15.

63. Upsampling and denoising of depth maps via joint-segmentation / M. Tallon, S. Babacan, J. Mateos, M. Molina, A. Katsaggelos // In proceeding of: EUSIPCO 2012 (20th European signal processing conference 2012), 2012, P. 245 -249.

64. High quality depth map upsampling for 3d-TOF cameras / J. Park, H. Kim, Y. Tai, M. Brown, I. Kweon // Computer vision (ICCV), 2011 IEEE International conference on, 2011, P. 1623 -1630.

65. On creating depth maps from monoscopic video using structure from motion / P. Li, D. Farin, R. Gunnewielc, P. With // In Proc. IEEE workshop on content generation and coding for 3d-television (2006), 2006, P. 85-91.

66. Fusion of depth maps with multiple scales / S. Fuhrmann, M. Goesele // In: ACM transactions on graphics (Proceedings of ACM SIGGRAPH Asia 2011), 2011, P. 8.

67. OpenCV compatible real time processor for background foreground identification / M. Genovese, E. Napoli, N. Petra // Microelectronics (ICM), 2010 International conference on, 2010, P. 467 - 470.

68. Augmented reality with occlusion rendering using background-foreground segmentation and trifocal tensors / W. Lee, K. Sengupta, R. Sharma // Multimedia and expo, 2003. ICME '03. Proceedings. 2003 international conference on, 2003, P. 6.

69. An improved background and foreground modeling using kernel density estimation in moving object detection / Y. Yang, Y. Liu // Computer science and network technology (ICCSNT), 2011 International conference on, 2011, P. 1050 -1054.

70. Tracking-based non-parametric background-foreground classification in a chromaticity-gradient space / C. Cuevas, N. Garcia // Image Processing (ICIP), 2010 17th IEEE International Conference on, 2010, P. 845 - 848.

71. Image segmentation via normalised cuts and clustering algorithm / M. Choong, W. Kow, Y. Chin, L. Angeline, K. Teo // Control system, Computing and engineering (ICCSCE), 2012 IEEE International conference on, 2012, P. 430 - 435.

72. A color image segmentation algorithm based on region growing / J. Tang // Computer engineering and technology (ICCET), 2010 2nd International conference on, vol. 6, 2010, P. 634-637.

73. A novel image segmentation method based on random walk / Y. Lan, Y. Zhang, C. Li, X. Zhao // Computational intelligence and industrial applications, 2009. PACIIA 2009. Asia-Pacific conference on, 2009, P. 207 - 210.

74. A brief introduction to OpenCV / I. Culjak, D. Abram, T. Pribanic, H. Dzapo, M. Cifrek // MIPRO, 2012 Proceedings of the 35th international convention, 2012, P. 1725 - 1730.

75. A hidden Markov model based dynamic hand gesture recognition system using OpenCV / R. Shrivastava // Advance computing conference (IACC), 2013 IEEE 3rd international, 2013, P. 947 -950.

76. Learning OpenCV: computer vision with the OpenCV library / G. Bradski, A. Kaehler // O'Reilly Media, 2008, P. 580.

77. The system of face detection based on OpenCV / X. Fan, F. Zhang, H. Wang, X. Lu // Control and decision conference (CCDC), 2012 24th Chinese, 2012, P. 648-651.

78. The comparison of CPU time consumption for image processing algorithm in Matlab and OpenCV / S. Matuska, R. Hudec, M. Benco // ELEKTRO, 2012, 2012, P. 75 -78.

79. A markerless motion capture system with automatic subject-specific body model acquisition and robust pose tracking from 3D data / Z. Zhang, H. Seah, C. Quah, J. Sun // Image Processing (ICIP), 2011 18th IEEE International conference on, 2011, P. 525 - 528.

80. An autonomous dance scoring system using marker-based motion capture / H. Chen, Q. Gang, J. James // Multimedia Signal Processing, 2005 IEEE 7th Workshop on, 2005, P. 1 -4.

81. Automatic joint parameter estimation from magnetic motion capture data / J. O'Brien, R. Bodenheimer, G. Brostow, J. Hodgins // In Proceedings of graphics interface 2000, 2000, P. 53 - 60.

82. High definition motion capture [Электронный ресурс] / M. Orman // Режим доступа:

URL: http://tyrell-innovations-usa.com/shop/index.php?option:z::::com__content&view:= article&id=9&Itemidr=8 (дата обращения: 23.10.2013).

83. Все о МОСАР [Электронный ресурс] / В. Епишин // Режим доступа: http://www.render.ru/books/show_book.php?book_id=531 (дата обращения: 23.10.2013).

84. Работы в области МОСА Р[Электронный ресурс] // Режим доступа: http.V/www.mocaprus.ru/studio.htm (дата обращения: 23.10.2013).

85. Generating optimized marker-based rigid bodies for optical tracking systems / F. Steinicke, C. Jansen, K. Hinrichs, J. Vahrenhold, B. Schwald // In 2nd international conference on computer vision theory and applications (VISAPP), 2007, P. 387-395.

86. Motion tracking: no silver bullet, but a respectable arsenal / G. Welch, E. Foxlin // IEEE Computer graphics and applications, vol. 22, № 6, 2002, P. 24-38.

87. Захват движения при помощи технологий компании iPi [Электронный ресурс] / Ю. Ильин // Режим доступа: http://old.computerra.ru/terralab/multimedia/532492/ (дата обращения: 23.10.2013).

88. Разработка и исследование методов захвата, отслеживания и распознавания динамических жестов [Текст] : автореф. дис. ... канд. техн. наук / А.Н. Алфимцев. - Москва : МГТУ им. Н.Э. Баумана, 2008. - 18 с.

89. Распознавание динамических жестов в системе компьютерного зрения на основе медиального представления формы изображений [Текст] : автореф. дис. ... канд. техн. наук/A.B. Куракин. - Москва : МФТИ, 2012. -22 с.

90. Hand gesture recognition with depth images: A review / J. Suarez, R. Murphy // RO-MAN, 2012 IEEE, P. 411 - 417, 2012.

91. Лекция по работе с облаком точек при помощи библиотеки PCL [Электронный ресурс] / К. Buys // Режим доступа: http://www.pointclouds.org/assets/icra2012/people.pdf (дата обращения: 23.10.2013).

92. Real-time human pose recognition in parts from single depth images / J. Shotton, A. Fitzgibbon, M. Cook, T. Sharp, M. Finocchio, R. Moore, A. Kipman,

A.Blake // Proceeding CVPR '11 proceedings of the 2011 IEEE Conference on computer vision and pattern recognition, 2011, P. 1297 - 1304.

93. Компьютерная обработка и распознавание изображений /

B.Т. Фисенко, Т.Ю. Фисенко - СПб: СПбГУ ИТМО, 2008. 192 с.

94. Логика распознавания / Закревский А.Д. - Мн.: Наука и техника, 1988.

118 с.

95. Нестационарные процессы математического программирования / И.И. Еремин, В л. Д. Мазуров.-М.: Наука, 1979.

96. Задачи распознавания и классификации со стандартной обучающей информацией / Ю.И. Журавлев и др. // ЖВМиМФ. - 1980. - Т. 20, №5. - С. 12941309.

97. Нейронные сети: распознавание, управление, принятие решений / А.Б. Барский — М.: Финансы и статистика, 2004. 176 с.

98. Интеллектуальные системы управления / В.П. Евменов. - М.: ЛИБРОКОМ, 2009. 304 с.

99. Распознавание образов и анализ сцен / Р. Дуда, П. Харт - М.: Мир, 1976. 506 с.

100. Основы теории распознавания образов / Э. Патрик - М.: Сов. Радио, 1980. 408 с.

101. Информационный подход к изучению представления и обработки зрительных образов / Д. Марр - М.: Радио и связь, 1987. 400 с.

102. Вычислительная геометрия / Препарата Ф., Шеймос М. - М.: Мир, 1989. 478 с.

103. Обзор kinect for windows sdk [Электронный ресурс] // Режим доступа: http://habrahabr.ru/post/150955/ (дата обращения: 23.10.2013).

104. Обзор алгоритмов стереозрения / А. Вахитов, Л. Гуревич, Д. Павленко // Стохастическая оптимизация в информатике. Издательство Санкт-Петербургского университета, 2008, С. 151 - 169.

105. Компьютерное зрение / Шапиро Л., Стокман Дж. - М.: БИНОМ. Лаборатория знаний, 2006. 752 с.

106. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms / D. Scharstein, R. Szeliski // Int. Journal of computer vision 47, 2002, P. 7 -42.

107. Системы технического зрения / Под общей редакцией В.И. Сырямкина, B.C. Титова. - Томск: МГП «РАСКО», 1992. 367 с.

108. Зрение роботов / Хорн Б.К. - М.: Мир, 1989. 487 с.

109. Refine stereo correspondence using bayesian network and dynamic programming on a color based minimal span tree / I. Naveed, D. Huijun, G. Xu // ACIVS, 2006, P. 610-619.

110. Computing visual correspondence with occlusions using graph cuts / V. Kolmogorov, R. Zabih//ICCV. vol. 2, 2001, P. 508-515.

111. Stereo correspondence by dynamic programming on a tree / O. Veksler // Proc. CVPR. vol. 2, 2005, P. 384-390.

112. Никулин Е. А. Компьютерная геометрия и алгоритмы машинной графики / Е. А. Никулин .— СПб. : БХВ-Петербург, 2003. 560 с.

113. Компьютерное зрение. Современный подход / Форсайт Д.А., Понс Ж. - М.: «Вильяме», 2004. 928 с.

114. Large occlusion stereo / A. Bobick, S. Intille // Int. Journal of computer vision, vol. 33, № 3, 1999, P. 181-200.

115. Глаз, мозг, зрение / Хьюбел Д. -М.: Мир, 1990. 239 с.

116. Зрение человека и электронное зрение / Роуз А. - М.: Мир, 1977.

214 с.

117. Цифровые методы обработки и распознавания бинарных изображений / Фурман Я.А., Юрьев А.Н., Яншин В.В. - Красноярск: Изд-во Краснояр. Ун-та, 1992.-248 с.

118. Геометрическая теория управления / Аграчев А.А., Сачков Ю.Л. — М.: ФИЗМАТЛИТ, 2005. - 392 с.

119. Stereo correspondence by dynamic programming on a tree / O. Veksier // Proc. CVPR. vol. 2, 2005, P. 384-390.

120. Accurate depth map estimation from video via MRF optimization / S. Tseng, S. Lai // Visual communications and image processing (VCIP), 2011 IEEE, 2011, P. 1 -4.

121. Нейросетевые технологии распознавания сложных / Л.А. Котюжанский // Отчетная конференция молодых ученых: науч. труды XI отчетной конф. молодых ученых ГОУ ВПО УГТУ - У ПИ: сб. статей. Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2007. Ч 3. С. 223-225.

122. Вычисление карты глубины стереоизображения на графическом процессоре в реальном времени / Л.А. Котюжанский // Фундаментальные исследования. № 6 (2). 2012, С. 444-449.

123. Начала компьютерной графики / Шикин Е.В., Боресков А.В., Зайцев

A.А. -М.: «ДИАЛОГ - МИФИ», 1993. 138 с.

124. Компьютерная геометрия и графика : учеб. для студентов вузов /

B. М. Дегтярев .— Москва : Академия, 2010 .— 192 с.

125. 3d analysis and image based rendering for immersive TV applications / C. Fehn, E. Cooke, 0. Schreer, P. Kauff // Signal process, image commun, vol. 17, № 9, 2002, P. 705 -715.

126. A stereo matching algorithm with an adaptive window: theory and experiment / T. Kanade, M. Okutomi // Proceedings of the 1991 IEEE International conference on robotics and automation (ICRA '91), 1991, P. 1088 - 1095.

127. Обзор методов свертки изображений [Электронный ресурс] // Режим доступа: http://processing.org/examples/convolution.html (дата обращения: 24.10.2013).

128. Теория и применение алгоритмических измерений / Арутюнов П.А. -М.: Энергоатомиздат, 1990. 256 с.

129. Fast n-body simulation with CUDA [Электронный ресурс] / Harris J., Prins J., Nyland L. //

Режим доступа: http://http.developer.nvidia.com/GPUGems3/gpugems3_ch31 .html

130. Fast fluid dynamics simulation on the GPU [Электронный ресурс] / J. Harris. // Режим доступа:

http://http.developer.nvidia.com/GPUGems/gpugems_ch38.html (дата обращения: 24.10.2013).

131. A scalable multiple-SIMD architecture for real-time image understanding / T. Atherton, G. Nudd, N. Francis, D. Kerbyson, R. Packwood, Vaudin, G. // Role of image rrocessing in defence and military electronics, IEE Colloquium on, P. 8/1 - 8/4, 1990.

132. Performance evaluation of udp-based high-speed transport protocols / Y. Zhaojuan, R. Yongmao, J. Li // Software Engineering and Service Science (ICSESS), 2011 IEEE 2nd International conference on, 2011, P. 69-73.

133. A survey of glsl examples / T. Gomes, L. Estevao, R. Toledo, P. Cavalcanti // Graphics, patterns and images tutorials (SIBGRAP1-T), 2012 25th SIBGRAPI Conference on, 2012, P. 60-73.

134. Вычислительная математика и структуры алгоритмов / Воеводин В.В. - М.: Изд-во МГУ, 2006. 112 с.

135. Multiple-gpus algorithm for lattice boltzmann method / J. Zhou, C. Zhong, J. Xie, S. Yin // Information science and engineering, 2008. ISISE '08. International symposium on vol. 2, 2008, P. 793 - 796.

136. Модель авторской системы универсального распознавания образов / JI.A. Котюжанский, Н.И. Потанин // Отчетная конференция молодых ученых: науч. труды XII отчетной конф. молодых ученых ГОУ ВПО УГТУ-УПИ: сб. статей. Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2007 - С.21 - 26.

137. Универсальная система распознания образов - структура, обучение и тестирование системы / JI.A Котюжанский, В.А. Пухов // Отчетная конференция молодых ученых: науч. труды XIV отчетной конф. молодых ученых УГТУ-УПИ: сб. статей. Екатеринбург: УГТУ-УПИ, 2008. Ч. 3. С. 297-300.

138. Hardware acceleration of blob detection for image processing / A. Bochem, R. Herpers, K. Kent // Advances in circuits, electronics and micro-electronics (CENICS), 2010 Third international conference on, 2010, P. 28 -33.

139. A Robust blob detection and delineation method / L. Wang, J. Hehua // Education technology and training and 2008 International workshop on geoscience and remote sensing. ETT and GRS 2008. International workshop on, 2008, P. 827 - 830.

140. Automated detection of blob structures by Hessian analysis and object scale / J. Liu, J. White, R. Summers // Image Processing (ICIP), 2010 17th IEEE International conference on, 2010, P. 841 - 844.

141. Vehicles' motion parameters detection in intersection based on videos of low view angle / G. Lu, M. Liu, S. Xia, C. Deng // Optoelectronics and image processing (ICOIP), 2010 International conference on vol. 2, 2010, P. 718 - 721.

142. Компактные нейронные сети распознающие лица / Н.И. Потанин, JI.A. Котюжанский // Интерфейс «Мозг-Компьютер»: мат. XV междунар. конф. Ростов-на-Дону: Изд. ЮФУ, 2009. Т. 2. С. 146.

143. Алгоритмы оптимизации на сетях и графах / Майника Э. - М.: Мир, 1981.324 с.

144. Research of usage of Haar-like features and AdaBoost algorithm in ViolaJones method of object detection / D. Peleshko, K. Soroka // Experience of designing

and application of CAD systems in microelectronics (CADSM), 2013 12th International conference on the, 2013, P. 284 - 286.

145. Verifying a user in a personal face space / Q. Tao, R. Veldhuis // Control, automation, robotics and vision, 2006. ICARCV '06. 9th International conference on, 2006, C. 1-4.

146. Analysis of rotational robustness of hand detection with a Viola-Jones detector / M. Kölsch, M. Turk // Pattern recognition, 2004. ICPR 2004. Proceedings of the 17th international conference on vol. 3, 2004, P. 107-110.

147. An improved algorithm on Viola-Jones object detector / L. Qian, U. Niaz, B. Merialdo // Content-based multimedia indexing (CBMI), 2012 10th international workshop on, 2012, P. 1 - 6.

148. Accelerating Viola-Jones face detection algorithm on GPUs / J. Haipeng, Z. Yunquan, W. Weiyan, X. Jianliang // High performance computing and communication & 2012 IEEE 9th international conference on embedded software and systems (HPCC-ICESS), 2012 IEEE 14th international conference on, 2012, P. 396-403.

149. Study on the use of microsoft kinect for robotics applications / R. El-laithy, H. Jidong, M. Yeh // Position Location and Navigation Symposium (PLANS), 2012 IEEE/ION, 2012, P. 1280 - 1288.

150. Developing a gesture based game for deaf/mute people using microsoft kinect / F. Soltani, F. Eskandari, S. Golestan // Complex, intelligent and software intensive systems (CISIS), 2012 Sixth international conference on, 2012, P. 491 - 495.

151. A Novel human detection approach based on depth map via kinect / S. Yujie, H. Zhonghua, W. Pengfei, M. Shiwei, L. Wanquan // Computer vision and pattern recognition workshops (CVPRW), 2013 IEEE Conference on, 2013, P. 535 -541.

152. Аппроксимация функций, сжатие численной информации, приближения / Бердышев В.И., Петрак Л.В. - Екатеринбург: УрО РАН, 1999. 296 с.

153. Теория фильтрации Калмана / Балакришнан А. - М.: Мир, 1988. 168 с.

154. Фильтр Калмана - Бьюси / Браммер К., Зиффлинг Г. - М.: Наука, 1982. 200 с.

155. Фильтры Калмана и Пугачева / Синицын И.Н. - М.: Университетская книга, Логос, 2006. 640 с.

156. Методы оптимальной линейной фильтрации / Колос М.В., Колос И.В. - М.: Изд-во МГУ, 2000. 102 с.

157. Геометрическая алгебра / Артин Э. - Москва: Наука, 1969. 283 с.

158. Вычислительные методы линейной алгебры / Фадеев Д.К., Фадеева

В.Н.

159. Работа предлагаемой системы детектирование жестов, с визуализацией результата на облаке точек [Электронный ресурс] / Л.А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=Qn2KGEl4AWc (дата обращения: 24.10.2013).

160. Пример работы системы на различных жестах [Электронный ресурс] / Л. А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=Utq6Z-JFSzk (дата обращения: 24.10.2013).

161. Работа прототипа системы детектирования касаний к любой поверхности [Электронный ресурс] / Л. А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=bMG7rSUUpic (дата обращения: 24.10.2013).

162. Демонстрация распознавания касаний к любой поверхности [Электронный ресурс] / Л. А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=i9ikTnpf-pi (дата обращения: 24.10.2013).

163. Интерфейс бесконтактного управления / Л.А. Котюжанский // Фундаментальные исследования, vol. 4, № 1, С. 44 - 48, 2013.

164. Свид. о гос. per. программы для ЭВМ № 2006612201. SKYNET A.I. CORE / Л.А. Котюжанский. Зарег. 15.01.2007. М.: Фед. сл. по интел. собств. (Роспатент).

165. Статистический анализ экспериментальных данных / Протасов К.В. -М.: Мир, 2005. 142 с.

166. Теория эксперимента. В 2 ч. Ч. 1 / А.В. Блохин. - Мн.: БГУ, 2002. -

68 с.

167. Интерактивная галерея, основанная на предлагаемом интерфейсе бесконтактного управления [Электронный ресурс] / Л.А. Котюжанский // Режим доступа: http://www.visionTouch.ru (дата обращения: 24.10.2013).

168. Пример предлагаемого решения бесконтактного управления жестами [Электронный ресурс] / Л.А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=9m50VxuB5cA (дата обращения: 24.10.2013).

169. Предложенная система жестов [Электронный ресурс] / Л.А. Котюжанский // Режим доступа: ь«р:/Алллад.уоишЬе.сотДма*сЬ?у=ГО1еВрСАБ30 (дата обращения: 24.10.2013).

170. Интерактивная галерея, управляемая жестами [Электронный ресурс] / Л. А. Котюжанский // Режим доступа: http://www.youtube.com/watch?v=clUi4_rE-D0c (дата обращения: 24.10.2013).

171. Интерактивные системы. Человеко-машинный интерфейс, основанный на распознавании жестов / В.М. Коренберг, М.Л. Щелкунов, Л.А. Котюжанский // XVII международная конференция молодых ученых по приоритетным направлениям развития науки и техники: науч. труды XVII междунар. конф. молодых ученых по приоритетным направлениям развития науки и техники. Екатеринбург: ГОУ ВПО «УГТУ-УПИ имени первого Президента России Б.Н. Ельцина», 2010. Ч. 3. С. 27- 34.

172. Дополненная реальность как новый интерфейс взаимодействия человека с компьютером / В.М. Коренберг, М.Л. Щелкунов, Л.А. Котюжанский // XVII международная конференция молодых ученых по приоритетным направлениям развития науки и техники: науч. труды XVII междунар. конф. молодых ученых по приоритетным направлениям развития науки и техники. Екатеринбург: ГОУ ВПО «УГТУ-УПИ имени первого Президента России Б.Н. Ельцина», 2010. Ч. 3. С. 41-46.

173. Реализация симуляции флюидов в системе интерактивной проекции / Л.А. Котюжанский // Современные инструментальные системы, информационные

технологии и инновации: мат. IX междунар. науч.-практ. конф. Курск: Юго-Зап. гос. ун-т, 2012. С. 104-107.

174. Физическая симуляция и визуализация поверхности воды для интерактивной проекции изображения на плоскость / JI.A. Котюжанский, М.Л. Щелкунов, В.М. Коренберг, Т.А. Матвеева // Новые образовательные технологии в вузе: сб. мат. 7-й междунар. науч.-метод, конф. Екатеринбург: ГОУ ВПО «УГТУ-УПИ имени первого Президента России Б.Н. Ельцина», 2010.4. 2. С. 293-296.

175. Реализация симуляции флюидов в системе интерактивной проекции / Л.А. Котюжанский // Вектор науки Тольяттинского государственного университета. 2012. №3(21). С. 23-26.

176. Visiontouch - новая технология интерактивных проекций для учебного процесса [Электронный ресурс] / Л.А. Котюжанский, Л.Е. Королев, А.С. Курлов // Новые образовательные технологии в вузе (НОТВ - 2013): сб. Mai. X междунар. науч.-метод. конф. Екатеринбург: УрФУ, 2013. - Режим доступа: http://notv.urfu.ru/nolv/818/1839 (дата обращения 14.04.2013).

177. Лабораторный мультитач стол / Л.А. Котюжанский, Н.В.Четверкин, Л.Е. Королев // Новые образовательные технологии в вузе (НОТВ - 2012): сб. мат. IX междунар. науч.-метод, конф. Екатеринбург: УрФУ, 2012. С.80-84.