Системы 3D-визуализации индуцированной виртуальной среды тема диссертации и автореферата по ВАК РФ 05.13.11, доктор физико-математических наук Афанасьев, Валерий Олегович

• Афанасьев, Валерий Олегович
• доктор физико-математических наук
• 2007

Введение диссертации (часть автореферата) на тему «Системы 3D-визуализации индуцированной виртуальной среды»

БЛАГОДАРНОСТИ. 27

ГЛАВА 1. КОНЦЕПЦИЯ СИСТЕМЫ ЗБ-ВИЗУАЛИЗАЦИИ ИНДУЦИРОВАННОЙ ВИРТУАЛЬНОЙ СРЕДЫ. 28

1.1. Понятие индуцированной виртуальной среды (ИВС), назначение и возможные области применения систем визуализации ИВС (СВ ИВС).29

1.2. Возможности технологии «Виртуальная реальность», являющиеся ключевыми для систем управления и наблюдения на основе альтернативных принципов слежения за состоянием объектов.32

1.2.1. Отсутствие ограничений для точек и ракурсов наблюдения.32

1.2.2. Ослабление физических ограничений для непосредственной видимости объектов.32

1.2.3. Использование альтернативных (неоптических) методов слежения за состоянием объектов.32

1.2.4. Визуализация ненаблюдаемых объектов.33

1.2.5. Синхронное моделирование визуализации в различных областях спектра ЭМК.33

1.2.6. Распределенная синхронная многоракурсная визуализация.34

1.3. Проблемы ЗБ-визуализации, характерные для СВ ИВС.34

1.3.1. Адекватность бинокулярного восприятия ЗБ-среды по стереопаре 2Б-изображений.35

1.3.2. Реалистичность и производительность алгоритмов ЗБ-визуализации.39

1.3.3. Реконструкции поведения ЗБ-объектов в виртуальной среде по данным о поведении реальных объектов.41

1.4. Подходы к решению проблем ЗБ-визуализации, применяемые в наиболее распространенных системах виртуальной реальности.42

1.4.1. Анимационные системы (изолированное погружение).43

1.4.2. Игровые системы (изолированное погружение).44

1.4.3. Тренажерные системы (совмещенное погружение).46

1.4.4. Имитационные системы (совмещенное погружение).47

1.4.5. Системы погружения с точным совмещением систем координат (технологии семейства «Augmented/Mixed Reality»).48

1.4.6. Системы телеуправления (технологии семейства «Remote Control»).51

1.4.7. Системы телеприсутствия (совмещенное мультимедийное погружение). 51

1.5. Математические задачи, связанные с проблемами ЗБ-визуализации ИВС.52

1.5.1. Описание и управление поведением ЗБ-моделей объектов с динамической структурой.52

1.5.2. Интерфейс высокоточной стереоскопической визуализации.54

1.5.3. Алгоритмы синтеза изображений с расширенной моделью проецирования (обратная трассировка для картинных поверхностей сложной формы).57

1.5.4. Модели данных и поведения объектов ИВС для распределенной системы ЗО-визуализации.60

ГЛАВА 2. ОПИСАНИЕ ЗО-ОБЪЕКТОВ С ДИНАМИЧЕСКОЙ СТРУКТУРОЙ И МОДЕЛИРОВАНИЕ ИХ ПОВЕДЕНИЯ.63

2.1. Функция и роль иерархической структуры в описании формы

ЗО-носителя поверхности и её изменений.64

2.2. Иерархические структуры с переменным отношением порядка (ЮИ-деревья).67

2.2.1. Пример структуры с изменением отношения порядка при сохранении связности.67

2.2.2. Формальное описание КГК-дерева.70

2.2.3. Преобразования систем координат в вершинах ЮН-дерева.73

2.3. Связанные ШИ-списки.75

2.3.1. Описание обычного связанного списка.75

2.3.2. Описание связанного НТК-списка.77

2.3.3. Двухуровневый полиморфизм концевых элементов МП-деревьев структуры объектов ИВС.82

2.4. Проектирование программных средств для ЯТЯ-деревьев.85

2.4.1. Модель данных для управления состоянием ЛТК-дерева.85

2.4.2. Паттерны развертывания КШ-дерева.86

2.4.3. Паттерны управления поведением ЯТК-дерева.90

2.4.4. Паттерны управления взаимодействием КШ-деревьев.92

ГЛАВА 3. ИНТЕРФЕЙС ВЫСОКОТОЧНОЙ СТЕРЕОСКОПИЧЕСКОЙ ВИЗУАЛИЗАЦИИ.97

3.1. Постановка задачи стереоскопической визуализации.97

3.1.1. Оптико-геометрическая модель бинокулярной зрительной системы.98

3.1.2. Начальные условия формирования стереопары.101

3.1.3. Условия наблюдения сформированной стереопары.102

3.2. Развитие математической модели бинокулярного интерфейса.103

3.2.1. Введение дополнительных степеней свободы для объектов виртуальной 6БОР-стереоголовы.103

3.2.2. Введение описания формы носителя изображения.106

3.2.3. Использование данных о взаимном положении центров вращения и проецирования.110

3.3. Объектная модель человеко-машинного интерфейса высокоточной стереоскопической визуализации.114

3.3.1. Абстракция интерфейса стерескопической визуализации пост визуализации).115

3.3.2. Структура поста визуализации.117

3.3.3. Статическая декомпозиция картинной поверхности.119

3.3.4. Классификация объектов поста визуализации.120

3.4. Управления поведением виртуального поста визуализации.121

3.4.1. Модель состояния.121

3.4.2. Сценарии поведения.122

3.4.3. Динамическая декомпозиция картинной поверхности.123

3.4.4. Перенос состояния при перекрестном наблюдении.124

ГЛАВА 4. МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ЗАДАЧИ ОБРАТНОЙ ТРАССИРОВКИ ЛУЧЕЙ В РАСШИРЕННОЙ ПОСТАНОВКЕ.126

4.1. Обобщение задачи обратной трассировки на основе параметрического описания луча.127

4.2. Подходы к обратной трассировке лучей для поверхностей свободной формы.132

4.3. Обратная трассировка лучей на основе явного решения систем уравнений, описывающих поверхность.138

4.4. Программные средства описания и формирования составной полиморфной поверхности (СПП) со структурой RTR-дерева.143

4.4.1. Семантика полиморфизма примитивов СПП.143

4.4.2. Хранимое описание СПП и его обработка.146

4.4.3. Паттерны развертывания СПП в оперативной памяти.147

4.5. Особенности выполнения CSG-операций с узлами RTR-дерева.150

4.5.1. Нарушение корректности суперпозиции CSG-операций в цепях с изменением отношения порядка.151

4.5.2. Сохранение корректности путем инкапсуляции CSG-операций в кластерах узлов.154

4.5.3. Сохранение корректности путем инкапсуляции CSG-операций в примитивах.154

4.6. Управление вычислительным процессом при обратной трассировке составных полиморфных поверхностей.155

4.6.1. Особенности структуры потока вычислений.156

4.6.2. Спектры вычислительной нагрузки.157

4.6.3. Подход к созданию модели адаптируемой вычислительной архитектуры (виртуальная машина обратной трассировки).159

ГЛАВА 5. ОСОБЕННОСТИ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ РАСПРЕДЕЛЕННЫХ СВ ИВС.162

5.1. Современное состояние методологии создания распределенных систем и ее возможности в контексте создания распределенной СВ ИВС.163

5.1.1. Основные задачи сетевого ПО распределенной СВ ИВС с архитектурой «клиент-сервер».164

5.1.2. Возможности подходов к созданию ПО Middleware распределенной СВ ИВС в реализациях CORBA, J2EE, DOT.NET.166

5.1.3. Перспективы использования технологии MDA OMG для создания ПО распределенной СВ ИВС.168

5.2. Представление о СВ ИВС как о распределенной системе.170

5.2.1. Основные компоненты и сценарии функционирования распределенной СВ ИВС.170

5.2.2. Задачи и логика функционирования серверного слоя.175

5.2.3. Задачи и логика функционирования клиентского слоя.176

5.2.4. Задачи и логика функционирования промежуточного слоя.179

5.2.5. Сетевая топология и виды контента.179

5.3. Модели данных и поведения объектов, учитывающие негарантированную доставку данных о состоянии.181

5.3.1. Основные виды нарушения поведения ЗБ-объектов при сбоях доставки данных о состоянии.181

5.3.2. Модели данных и управление поведением ЗБ-объектов при потерях данных о состоянии.184

5.3.3. Возможные подходы к моделированию взаимодействия

ЗБ-объектов в клиентском слое.188

5.3.4. Адаптеры данных о состоянии для независимых объектов.190

5.4. Описание данных в распределенной системе ЗБ-визуализации ИВС.194

5.4.1. Виды контента в системе ЗБ-визуализации ИВС.195

5.4.2. Эволюция доминирующей модели языка для ЗБ-визуализации.196

5.4.3. Ограничения семантики языка ХЗБ, существенные для распределенных СВ ИВС.196

5.4.4. Модель метаданных OMG и возможности развития языка ХЗБ для СВ ИВС.198

ЗАКЛЮЧЕНИЕ.202

БИБЛИОГРАФИЯ.204

ВВЕДЕНИЕ

Сфера применения систем виртуальной реальности (ВР) в настоящее время достаточно обширна - от игровых систем до систем специального назначения. В последние годы все более востребованными становятся возможности систем виртуальной реальности, позволяющие воспроизводить в виртуальной среде объекты (их структуру, вид, поведение и взаимодействие), которые в режиме реального времени могут копировать поведение своих реальных прототипов, находящихся и функционирующих в реальной среде. Эти возможности можно кратко охарактеризовать метафорой «увидеть невидимое» (точнее, получить изображение объектов наблюдения без использования средств прямого оптического наблюдения). Появление и развитие этих возможностей тесно связано с появлением и интенсивным развитием в конце ХХ-го и начале ХХ1-го веков различных средств регистрации ЗБ-координат объектов (средств ЗБ-позиционирования), а также развитием геоинформационных систем (ГИС) и ЗБ-моделей земного ландшафта (3Б-карт высокого разрешения, содержащих помимо рельефа данные о застройке и т.п.).

Общая характеристика систем визуализации индуцированной виртуальной среды (СВ ИВС). Если внешний вид реальных объектов, их строение, структура воспроизводятся с высокой точностью, а также, если данные об этих объектах позволяют в реальном времени достоверно воспроизводить их поведение в виртуальной среде, то виртуальную среду можно рассматривать как средство наблюдения за реальными объектами и реальными событиями, не требующее нахождения в самой реальной среде. В начале ХХ-го века такая возможность появилась, благодаря открытию телевидения (термин <телевидение» как раз и отражает возможность «видения на расстоянии» ). В то же время, имея сходство с системой телевидения, система виртуальной реальности, в которой воспроизводятся реальные объекты и реальные события, имеет ряд принципиальных отличий от телевизионных систем.

Первое отличие (может быть, главное) заключается в принципиальном отсутствии ограничений на свободу передвижения наблюдателя и выбора им точки и ракурса для наблюдения в виртуальном пространстве. Второе отличие -расширение доступного набора средств получения информации о поведении объектов наблюдения. В оптико-телевизионных системах для этой цели используется спектр ЭМК оптического и субоптического (инфракрасного и частично ультрафиолетового) диапазонов. В системах виртуальной реальности для регистрации состояния могут быть использованы любые доступные источники данных, принцип действия которых не обязательно должен быть оптическим. Более того, работа таких источников данных может быть даже не связана с регистрацией ЭМК, - они могут быть акустическими, механическими, инерциальными и т.п. Таким образом, можно говорить о визуализации в том числе и на основе альтернативных (неоптических) физических принципов, когда становится возможной визуализация объектов, являющихся «невидимыми» в обычном понимании.

Общий подход к наблюдению за поведением «невидимых в оптическом смысле» объектов строится на использовании двух видов данных об этих объектах - априорных (консервативных) и апостериорных (оперативных). Эти данные образуют информационную основу реконструкции поведения (временной последовательности состояний) реальной среды, которое моделируется в виртуальной среде в режиме реального времени параллельно с равзвитием с событий в реальной среде.

В состав априорных данных могут входить данные, которые относительно мало подвержены изменениям в процессе наблюдения и описывают относительно стабильные структуру, форму объектов, оптические (и другие физические) характеристики «наблюдаемых» объектов и окружающей среды (естественный и техногенный ландшафт и т.п.). Оперативные данные описывают систематические изменения состояния объектов и образуют вектор состояния - набор данных, в который входят данные, регистрируемые сенсорными системами (пространственное положение и ориентация объектов и их структурных элементов, параметры, связанные с изменениями формы и т.п.).

Из двух указанных выше разновидностей данных для реконструкции требуется систематическая регистрация и передача лишь оперативных данных (вектор состояния наблюдаемой среды), причем, эти данные не являются описанием изображения (точнее, растра изображения, как в телевизионных системах). Они имеют принципиально иную природу, и объем их существенно меньше по сравнению с объемами растра, транспортируемого в системах теленаблюдения. В этом заключается третье принципиальное отличие систем виртуальной реальности, используемых для наблюдения за состоянием реальной среды (далее СВ ИВС), от телевизионных систем.

СВ ИВС как отдельный класс систем виртуальной реальности. Системы виртуальной реальности с описанными выше возможностями целесообразно выделить в отдельный класс, поскольку эти системы имеют ярко выраженные функциональные особенности, возможности и области применения. В таких системах реальные объекты фактически управляют своими «виртуальными двойниками», - то есть, в определенном смысле, поведение виртуальных объектов индуцируется поведением реальных объектов, - поэтому такую виртуальную среду было решено назвать индуцированной виртуальной средой .

Следует заметить, что в результате визуализации ИВС в разных ракурсах может быть получена информация, принципиально отсутствующая в данных, передаваемых в векторе состояния, и отсутствующая в явном виде в априроных данных. В качестве примера, демонстрирующего эту возможность, можно привести визуализацию взаимодействия механизмов стыковочных агрегатов космических аппаратов. Телеметрические данные могут не содержать всей информации, характеризующей поведение механизмов стыковочных узлов. Однако наличие в априорных данных информации о структурных связях в конечном итоге позволяет реконструировать поведение узлов по ограниченным данным, содержащимся в векторе состояния. Развитие событий в ходе стыковочной операции можно визуализировать в любом ракурсе и с любой точки наблюдения, что также далеко не всегда возможно в естественных условиях. Такая возможность появляется благодаря наличию информации, в частности, о структурных связях которая содержится в априорных данных в неявном виде. В данном случае имеет место аналогия с кодированием и/или сжатием данных - из передаваемых сообщений удаляются избыточные данные, которыми заранее располагают обе стороны, участвующие в обмене данными (априорная информация, в том числе в неявном виде). В данном примере демонстрируется также и дополнительная возможность СВ ИВС, трактуемая как «визуализация невидимого» - функционирование стыковочных механизмов в принципе невозможно наблюдать в естественных условиях (на орбите), так как они скрыты непроницаемой оболочкой.

СВ ИВС как новый этап развития систем виртуальной реальности.

Большие потенциальные возможности систем виртуальной реальности, которые оказали и продолжают оказывать сильное влияние на парадигму управления человеко-машинными системами, были замечены сразу же после проведения первых экспериментов по 3D-визуализации еще в 60-е годы. Решающую роль в этих экспериментах сыграло введение обратной связи между подсистемой формирования изображения и подсистемой, регистрирующей положение и ориентацию головы оператора, которая в сущности и превратила системы 3D-визуализации в системы виртуальной реальности в нынешнем их понимании. Возможности технологии BP оказались востребованными в первую очередь в тренажерных системах, в которых виртуальная среда частично может трактоваться как индуцированная (в тренажерных системах основным источником данных об окружающей среде является имитационная модель).

В 80-90-е годы, благодаря развитию компактных автономных средств позиционирования (инерциальных и полевых систем трекинга, GPS, DGPS и других), началось интенсивное развитие систем BP для сенсорного погружения в смешанные ЗБ-среды (естественные и искусственные). Появляется целое семейство систем BP для такого погружения, в том числе системы, известные под наваниями Augmented Reality («Усиленной реальности»), Mixed Reality («Смешанной реальности»), Telepresence («Телеприсутствия»), Remote Media Immersion (погружение в удаленную среду), Mixed Media Immersion (погружения в смешанную среду) и другие, [90,115,120,121,133].

Общим, что объединяет эти системы, является совмещение систем координат реальной и виртуальной сред (и объектов этих сред). Однако само «смешивание» объектов разных сред на самом деле представляет собой смешивание их изображений на некотором промежуточном носителе, при котором используется общая сенсорная среда, воспринимаемая через один сенсорный канал - зрительный. С точки этой точки зрения концепцию СВ ИВС можно считать обобщением концепции погружения в виртуальную среду, для иллюстрации которого можно привести следущий пример.

Оператор системы BP находится в реальной среде, но его зрительный канал полностью изолирован от этой среды, с помощью HMS-дисплея, на экраны которого подается стерео-изображение виртуальной среды, моделирующей реальную. Оператор может действовать (в частности, передвигаться) в реальной среде, руководствуясь изображением искусственой среды, причем все остальные сенсорные системы оператора кроме зрительной (в частности, тактильная и акустическая) взаимодействуют с реальной средой. Таким образом, на зрительную систему оператора воздействуют только искусственные раздражители, а на остальные - естественные (реальная среда не видна). При воспроизведения условий визуализации виртуальной среды, обеспечивающей высокую точность совпадения зрительного и кинестетического образов реальной и виртуальной сред, подобная система BP могла бы использоваться для поддержки деятельности при нарушениях или даже полном отсутствии оптической видимости (например, при сильном задымлении, в тумане и т.п.).

К какому классу систем погружения с совмещением систем координат следует отнести систему виртуальной реальности, описанную в данном примере, не ясно, так как концепция существующих систем смешанного погружения (в том числе Augmented/Mixed Reality и т.п.), подразумевает смешанное воздействие раздражителей в одном канале (зрительном). Ближе всех к приведенному примеру находится концепция тренажерных систем. Однако заметим, что все существующие концепции систем погружения в смешанные сенсорные среды, вне зависимости от их вида (включая и тренажерные системы, и системы Augmented/Mixed Reality во всех разновидностях и т.п.) объединяет особенность виртуальной среды, которая как раз и является индуцированнной. Эту среду можно рассматривать как некоторое ядро системы виртуальной реальности, на основе которого можно создавать (что, вообще говоря, не является обязательным) сенсорные образы для разных сенсорных каналов человека, включая зрительный, тактильный, акустический и т.д., при необходимости смешивая естественные и искусственые раздражители в разных каналах (даже во всех каналах одновременно). Насколько удачным в этом контексте является термин «Индуцированная виртуальная среда» и производные от него, покажет время. В данной работе этот термин и его аббревиатура ИВС будет в дальнейшем использоваться для краткости и определенности.

Следует подчеркнуть, что ИВС вовсе не обязательно должна быть визуализирована (в более общем случае, преобразована в сенсорный образ, природа которого определяется соответствующим каналом восприятия) - она может быть использована для других целей, например, для управления. Такой подход, в частности, применяется в современных системах управления летательными аппаратами с использованием высокоточной модели рельефа местности (GIS-модели, связываемой с системой координат аппарата при помощи системы GPS). Если ставится задача получения сенсорного образа ИВС, в частности, зрительного, то может возникать и задача визуализации ИВС, но сама ИВС при этом существует независимо от системы визуализации («живет по своим законам»). Вместе с тем эта независимость может быть и относительной, так как, вообще говоря, для получения адекватного сенсорного образа в виртуальную среду необходимо «погрузить» модель сенсорной системы соответствующего вида, подчинив ее поведение поведению оператора (и его зрительной системы). Такое погружение является отдельным предметом исследований, объектом которых является интерфейс взаимодействия с виртуальной средой. В зависимости от функциональных особенностей этого интерфейса система визуализации ИВС может рассматриваться либо как «полноценная» система виртуальной реальности, либо лишь как система «обычной» стереовизуализации (например, система показа стерео-кинофильмов, в которых поведение зрителя не оказывает влияния на процесс визуализации).

Развитие подходов к ЗБ-визуализации в СВ ИВС. Важной особенностью проблемной области визуализации ИВС является сильная взаимная связь между задачами моделирования поведения в виртуальной среде двух принципиально различных типов объектов - объектов наблюдения и наблюдающих объектов. В настоящее время эти объекты, как правило, рассматриваются «по разные стороны» интерфейса системы виртуальной реальности, что часто приводит к игнорированию важных закономерностей, в частности, при использовании модели так называемой «стереоголовы с 6-ю степенями свободы» (6-DOF Stereo-Head). В этой, широко распространенной модели, реализуется простейшая оптическая система стереоскопа, которая фактически является лишь суррогатом того объекта, который в действительности должен использоватьс для определения начальных условий формирования стереопары. Игнорируются важнейшие факторы бинокулярного восприятия, которые проявляются на близких расстояниях (не более 5-6 метров), что приводит к необходимости их нейтрализации (в частности для ослабления действия связи между вергенцией и аккомодацией [60, 62-65]). В результате большинство существующих систем стереовизуализации, строго говоря, обеспечивают адекватное воприятие лишь бесконечно удаленных сцен (во всяком случае расположенных на значительном удалении, когда аккомодация перестает действовать).

Для создания адекватных условий бинокулярной визуализации в ближней зоне необходима более сложная модель зрительной системы, помещаемой внутрь виртуальной среды, позволяющая учитывать расширенный набор факторов, в том числе факторы, которые обычно не учитываются - угол вергенции зрительных осей, ожидаемое положение плоскости аккомодации и смещение оптического центра глаза при саккадных движениях. Обеспечение таких условий является важнейшей ключевой задачей изуализации ИВС, но далеко не единственной - с ней очень тесно связана задача формирования самого изображения («рендеринга» на профессиональном сленге). Для высокоточной ЗБ-визуализации ИВС необходима расширенная постановка этой задачи, в которой учитывались бы особенности строения анатомического отдела зрительного анализатора и его взаимодействия с носителем изображения. Для реализации этой модели непосредственно применим алгоритм обратной трассировки, причем постановка задачи обратной трассировки также должна рассматриваться в более общем виде. В частности, могут быть сняты ограничения на форму картинной поверхности и описание трассирующего множества (картинная плоскость и прямолинейный луч, выходящий из центра проекции относятся к простейшему частному случаю).

Алгоритм формирования изображения и метод описания изображаемой поверхности взаимосвязаны. Сейчас для описания поверхностей чаще всего используется полигональная модель (практически всегда триангулянт). Причиной этого является ситуация, сложившаяся на рынке устройств аппаратной поддержки геометрических вычислений для ЗО-визуализации, - в них используется в основном алгоритм буфера глубины. Эту ситуацию можно охарактеризовать как безграничный диктат систем ЗБ-графики, в которых аппаратно реализован алгоритм буфера глубины, требующий, во-первых, представления любой поверхности в виде триангулянта и, во-вторых, использования простейшей модели проецирования в виде пирамидальной виртуальной камеры (один из базовых объектов в составе API OpenGL и API DirectX).

Вынужденное применение (в стандартных API) пирамидальной модели сильно ограничивает возможности построения модели высокоточного формирования иозбражения, особенно, если физический носитель изображения принципиально имеет неплоскую форму (например, поверхность сетчатки глаза, стекло гермошлема и т.п.). Другим недостатком алгоритмов ЗБ-визуализации с буфером глубины является большой объем исходных данных в сложных 3D-сценах, причем высокая размерность триангулянта далеко не всегда позволяет скрыть слишком грубое приближение поверхностей сложной формы. В этой связи сохраняет актуальность поиск новых методов представления поверхностей, и в данной работе показаны возможные подходы к решению проблемы описания носителей сложных поверхностей в параметрической форме. Важно, что параметрическое описание носителя поверхности позволяет не только изобразить поверхность в «первозданном» виде, не прибегая к ее полигональному приближению, но и радикально понизить объем данных, описывающих сложные пространственные формы.

Особеностью процесса обратной трассировки полиморфной поверхности является сильная зависимость трудоемкость обработки примитивов от вида 3D-примитива, причем для ЗБ-объекта (и для ЗБ-сцены) конкретного вида трудно заранее предсказать распределение множества ЗБ-примитивов по видам. Неоднородное и трудно предсказуемое распределение вычислительных затрат является одним из факторов, тормозящих развитие аппаратурной поддержки алгоритмов обратной трассировки. Вычислительная архитектура для поддержки этих алгоритмов должна иметь большую избыточность, причем даже избыточность не всегда способна гарантировать эффективную обработку поверхностей любого вида. Одним из перспективных подходов к обратной трассировке поверхностей свободной формы в реальном времени является использование адаптируемых вычислительных архитектур. В этой связи необходимо упомянуть процессор S 5 ООО (содержит блок Instruction Set Fabric, управляемый компилятором С++, позволяющий изменить специализацию вычислений [134]). Это процессор можно рассматривать как возможную основу для создания подходов к решению проблемы неоднородности вычислений на базе вычислительных архитектур, адаптируемых к виду конкретной поверхности или ЗБ-сцены. Во всяком случае, появление вычислителей с адаптируемой архитектурой делает актуальной разработку объектных моделей полиморфных поверхностей сложной формы (образуемых CSG-композицией ЗБ-примитивов свободной формы), моделей данных для описания таких поверхностей и алгоритмов обратной трассировки в расширенной постановке, рассматриваемых в данной работе.

Моделирование поведения объектов наблюдения в СВ ИВС. Описанные выше проблемы (кроме высокоточной бинокулярной визуализации) связаны, в основном, с созданием реалистичных изображений, по-прежнему остаются и будут еще долго оставаться в центре внимания разработчиков систем виртуальной реальности. В то же время визуализация именно индуцированной виртуальной среды требует рассмотрения целого ряда дополнительных задач, важных при моделировании поведения объектов, подчиненных не имитационной системе (как в «обычных» системах ВР), а системе, следящей за реальными событиями и поведением реальных объектов.

Одной их таких задач является задача управления поведением и взаимодействием объектов со сложной структурой, которая может существенно изменяться в ходе моделирования. Сущность, возникающих проблем (и причины их возникновения), заключаются в том, что при построении моделей объектов приходится руководствоваться абстрагированным представлением о реальном объекте, связанным с идеализированной моделью структуры и связанной с ней моделью данных. Доступные данные о состоянии, которые на практике поступают не от имитационной модели, а от сенсорных систем, регистрирующих состояние реальных объектов, почти всегда имеют семантику, не соответствующую семантике данных, описывающих поведение модели - имеет место неполная релевантность данных о состоянии объекта и его модели.

Неполная релевантность проявляется, например, в том, что могут по-разному интерпретироваться координатные данные, описывающие поведение структурных звеньев модели, и данные, регистрируемые непосредственно сенсорной системой реального объекта (например, инерциальной или вР8-системой). Более того, данные, необходимые для управлению некоторыми звеньями модели могут даже полность отсутствовать (из-за отсутствия или отказа датчиков).

Другая проблема связана с описанием поведения и управленим взаимодействующих объектов. При взаимодействии реальных объектов часто происходит изменение их структуры, в то время как модели структур объектов ИВС являются более консервативными. Данные о состоянии реальных объектов изменяют семантику после наступления событий реорганизации структуры, в результате чего структуры объектов ИВС могут стать непригодными для управления. Например, при стыковке и расстыковке модулей КА, при работе манипуляторов, андроидных механизмов и т.д. структурные связи могут разрываться, восстанавливаться, менять направление, могут появляться новые связи и т.п. Некоторые виды объектов, в частности, «шагающие» манипуляторы могут изменять свою структуру «на ходу», что приводит к частым преобразованиям дерева кинематической системы (здесь при сохранении связности в дереве систематически перемещается корневой узел).

Существующие подходы к описанию структур (в том числе деревьев) и связанные с ними модели данных создают трудности при использовании их для описания поведения взаимодействующих объектов - их приходится уничтожать и создавать заново, причем систематически. Создание и уничтожения объектов в свою очередь связано с реорганизацией памяти, что усложняет управление системой. Однако еще хуже то, что в некоторых случаях («массивные» объекты) такая реорганизация приводит недопустимо большим временным задержкам моделирования и визуализации, причем их трудно избежать.

Особенности создания распределенных СВ ИВС. Проблемы описания и управления взаимодействующими объектами могут проявиться также и при создании распределенных систем визуализации ИВС, особенно в тех случаях, когда в таких системах приходится использовать ненадежные потоколы транспортировки. Характерный пример - массовая рассылка дейтаграмм без установления соединения (протокол UDP), в которых должны содержаться данные о поведении в реальном времени наблюдаемых реальных объектов и наблюдателей. Одна из основных сложностей использования такого протокола для передачи вектора состояния ИВС связана с нарушением хронологии поступления данных и потерей данных. Для сохранения управляемости объектов ИВС в таких условиях необходимо создание специальных моделей поведения и данных, описывающих состояние объектов управления. Такие модели (даже при потере некоторой доли данных о состоянии) могли бы обеспечивать работоспособность распределенных СВ ИВС при широковещательной рассылке.

Создание модели данных для транспортировки вектора состояния ИВС непосредственно связано с другой проблемой - стандартизацией сетевого формата данных для ЗО-визуализации. В конце 2004 года было объявлено о выходе в свет очередного формата ЗБ-данных базирующегося на концепции XML и одновременно являющегося наследником языков семейства VRML.

Формат X3D, с точки зрения проблематики задач управления поведением ИВС в распределенной системе, как и VRML не позволяет непосредственно использовать его для транспортировки данных о состоянии ИВС. Средствами X3D эта задача решается лишь частично, и для распределенной системы визуализации ИВС необходимо расширение X3D. Необходимость расширения касается, в частности, двух аспектов - введение модели дерева с перемещаемым корнем и введение модели метаданных для описания состояния. Это модель, в частности, должна давать возможность по-разному описывать поведение объектов в промежуточном и клиентском слоях. Учитывая возможные сбои доставки данных о состоянии, в клиентского слоя должна быть изменены схемы моделирования поведения (нельзя накапливать предысторию изменения состояний, использовать механизм событий и т.п.).

В настоящее время методология создания распределенных систем развивается по трем преобладащющим технологическим направлениям, поддерживаемым разными сообществами разработчиков - CORBA (Object Management Group, J2EE (Sun) и DOT-NET (Microsoft), [52, 54, 76, 77]. Эти три направления объединяет общий подход к рассмотрению распределенной системы как бизнес-системы (со всеми вытекающими отсюда последствиями). Вместе с тем, достаточно очевидно, что логика функционирования системы визуализации ИВС принципиально отличается от логики фукнционирования бизнес-систем. Однако, специализированной технологии, предназначенной для создания распределенных систем, не относимых либо к «бизнес-классу», либо к классу систем «с нулевой эффективностью» (так в последнее время стали называть игровые системы), пока не существует. В такой ситуации одним из возможных подходов к созданию распределенной системы визуализации ИВС мог бы стать подход, базирующийся на концепциях метамоделей и метаданных, предложенный Object Management Group, и называемый Model Driven Architecture (MDA), [76].

Основное достоинство концпеции MDA - абстрагирование от разработки средств поддержки операционно-сетевых задач, и концентрация усилий на разработке средств реализации логики функционирования распределенной системы. Основным инструментальным средством разработки распределенной системы по идеологии MDA-OMG является UML в сочетании с репозитариями моделей данных [76]. В идеальном случае описание системы на UML должно преобразовываться в исходный код, который в дальнейшем должен использоваться как основа для дальнейшей детальной проработки программистами.

Другим достоинством концепции MDA является принципиальная приверженность OMG идеологии Open Source - стандарты OMG (в том числе и для MDA) полностью открыты. Это может оказаться немаловажным с точки зрения обеспечения независимости разработки от сторонних производителей (использование операционных систем с открытым кодом).

Цель и задачи работы.

Целью работы является разработка теоретических основ создания математического и программного обеспечения систем визуализации индуцированной виртуальной среды - специальной разновидности систем виртуальной реальности, позволяющих вести наблюдение за реальными объектами без использования средств прямого оптического наблюдения (при этом объекты наблюдения могут быть невидимыми ).

Такие системы визуализации предназначены в первую очередь для использовании при управлении сложными человеко-машинными системами, функционирующими в экстремальных условиях, когда использование обычных оптических и/или телевизионных средств наблюдения невозможно, затруднено или неэффективно.

Для достижения поставленной цели в работе решаются следующие задачи: о Разработка методов описания поведения виртуальных ЗБ-объектов, имеющих динамическую иерархическую структуру, и алгоритмов выполнения рекурсивных 3 D-преобразований для структурных звеньев таких объектов. о Разработка оптико-геометрической и объектной моделей программного интерфейса системы высокоточной стереоскопической визуализации с большим числом степеней свободы. о Разработка методов и алгоритмов синтеза изображений составных полиморфных ЗБ-объектов на картинных поверхностях сложной формы. о Создание методологии разработки программного обеспечения распределенных систем ЗБ-визуализации ИВС.

Актуальность работы.

Существующие и перспективные человеко-машинные системы (в частности, предназначенные для использования в космосе) характеризуются высоким уровнем сложности, а условия их применения связаны с высоким уровнем риска и цены риска ошибочных действий. Опыт управления такими системами показывает, что для поддержки принятия решений в условиях, которые зачастую

Понятие «невидимый объект» в контексте работы означает сочетание факторов, неблагоприятных для прямого оптического наблюдения: объект переизлучает свет в невидимом спектре, находится в плохих оптических условиях (недостаточная освещенность, пыль, туман, дым и т.п.), за светонепроницаемой преградой, на большом удалении, вне поля зрения и т.д. являются экстремальными (как с точки зрения времени, отводимого на принятие решения, так и условий, в которых разворачиваются события) требует привлечения принципиально новых подходов и информационных технологий.

Одним из наиболее эффективных способов интерпретации потоков данных высокой интенсивности является использование интерфейсных средств, подключаемых непосредственно к сенсорной системе человека-оператора, -систем виртуальной реальности. Системы виртуальной реальности позволяют преобразовывать большие объемы числовых данных в сенсорные (как минимум, визуальные) образы синтезируемой компьютером трехмерной виртуальной среды. Это позволяет на качественно новом уровне решать проблемы интерпретации данных поведении, о положении и ориентации сложных объектов и их составных частей в пространстве, преобразуя числовые данные в форму, легко и быстро воспринимаемую экспертами.

Для эффективного использования интерефейса ВР при управлении сложной технической системой необходимо соответствующее информационное обеспечение модели управляемой системы. В этой связи следует отметить, что современные технические системы, как правило, оснащаются большим количеством устройств, регистрирующих различные параметры (пространственные координаты системы и ее структурных единиц, температуру, давление и т.п.), характеризующие их состояние. В качестве характерного примера можно привести сложившуюся за несколько десятков лет в Центре управления полетами (ЦУП) Роскосмоса информационную инфраструктуру - это десятки и сотни тысяч каналов приема в реальном времени больших объемов телеметрических и траекторных данных. Однако, возможности приема и обработки больших потоков информации теряют смысл, если они не обеспечены средствами интерпретации этой информации в той форме, которая позволяла бы оперативно анализировать ситуацию и принимать адекватные решения.

Об актуальности исследований в данном направлении ярко свидетельствует лишь один пример из опыта эксплуатации долговременной орбитальной станции. После столкновения грузового корабля с модулем станции только ЗБ-реконструкция развития событий, предшествоваших столкновению, позволила получить адекватную картину взаимного движения конструкций корабля и станции и обнаружить наиболее вероятное место повреждения конструкции станции. Оказалось, что без анализа поведения виртуальных ЗБ-моделей (только лишь на основе имеющейся телеметрической и траекторной информации) сделать это чрезвычайно сложно (если вообще возможно). Однако оперативное проведение такого анализа оказалось сложной проблемой, поскольку отсутствовала необходимая инфраструктура получения релевантных данных, методика их обработки и преобразование в форму, позволяющую воспроизвести адекватную картину событий в виртуальной среде. Для обработки данных и получения результатов понадобилось несколько недель. В то же время при наличии соответствующей инфраструктуры и математического обеспечения можно было бы не только проследить развитие событий в реальном времени, но и, вероятно, даже предотвратить столкновение.

Для долговременных орбитальных станций нового поколения - в том числе, Международной космичпской станции (МКС) - характерно растущее усложнение пространственной конфигурации с расположением крупногабаритных протяженных фрагментов вдоль нескольких пространственных осей (такие конструкции можно назвать сильно разветвленными). Движение и управление движением вблизи центра масс сильно разветвленных космических аппаратов (КА) сопряжено с еще большим риском и ценой риска столкновений фрагментов конструкций КА, и использование здесь систем виртуальной реальности (точнее, СВ ИВС) является чрезвычайно актуальным.

Характерным примером использования возможностей технологии ВР, является экспедиция «Марс-Спирит», в ходе которой неоднократно возникали критические ситуации, требующие детального анализа пространственной обстановки, складывавшейся вокруг марсохода, в котором средства виртуальной реальности оказались незаменимыми. По мнению автора, можно утверждать, что в будущем при освоении космоса (в частности, планет без атмосферы или планет, имеющих атмосферу из агрессивных химических соединений и несовместимые с жизнью температурные условия) средства ВР, использующие концепцию индуцированной виртуальной среды, будут играть ключевую роль.

Вместе с тем в своем существующем виде технология ВР предназначена, в основном, для визуализации искусственных (синтезированных компьютером) объектов и сцен, моделирование и управление которыми принципиально отличается от моделирования и управления объектами в индуцированной виртуальной среде - они существенно проще, в частности, благодаря высокой релевантности доступных данных о состоянии моделируемых объектов. Ближе всего по функциональному назначению к системам визуализации ИВС находятся системы усиленной и смешанной реальности. Однако подход к бинокулярной визуализации, используемый в этих системах в настояще время, слишком ограничен, и принципиально не позволяет обеспечить адекватное восприятие среды в ближней зоне. Подход к созданию еще одной распространенной разновидности систем ВР - систем телеприсутствия - как правило, базируется на представлении об этих системах как о мультимедийных, в результате чего основное внимание уделяется аудиторной экранной (хотя и стереоскопической) визуализации ЗБ-среды.

В целом анализ возможностей технологии виртуальной реальности (во всех существующих ее разновидностях) в контексте требований, которым должна удовлетворять эта технология, для использовании ее при управлении сложными человеко-машинными системами, позволяет сделать вывод об актуальности разработки методологии создания систем визуализации индуцированной виртуальной среды, которая должна существенно отличаться от подходов к созданию систем виртуальной реальности «обычного» назначения.

Новизна работы.

Рассмотренные в работе системы ЗБ-визуализации индуцированной виртуальной среды являются новой разновидностью систем визуализации, в которых используются альтернативные (неоптические) подходы к получению информации о состоянии объектов наблюдения. Распределенные системы СВ ИВС можно отнести к новой разновидности распределенных систем, имеющих ряд существенных отличий от обычных распределенных систем, включая функциональную специализацию звеньев, задачи, логику функционирования и взаимодействия звеньев, виды контента, циркулирующего в этих системах.

Расширено представление о свойствах иерархических структур, введено понятие ЮП-структуры (иерархической структуры с переменным отношением порядка), программной реализацией которой является связанный список нового вида - связанный ЩЯ-список. Разработаны методы выполнения ЗБ-преобразований для систем координат звеньев ЩЛ-структур, позволяющих описывать поведение ЗБ-объектов, в иерархических структурах которых может изменяться направление внутренних связей.

Предложена новая геометрическая модель интерфейса стереоскопической визуализации виртуальной среды, включающая описание независимого движения оптических осей и изменения оптической силы бинокулярной зрительной системы человека. Новая модель позволяет формировать не только более полный (по сравнению с общепринятой моделью 6БОР-стереоголовы) набор начальных условий для синтеза стереопары изображений виртуальной среды, но и описывает условия вывода стереопар избражений через оптическую систему стереодисплея.

В новой постановке решена задача обратной трассировки. Отличия от существущей постановки затрагивают два аспекта: используется более общая модель проецирования, в которой изображение строится на картинной поверхности сложной формы (в том числе и на плоскости); поверхность ЗБ-объекта рассматривается как объединение фрагментов поверхностей сложной формы, имеющих разное математическое описание (в том числе полигональных фрагментов).

Предложен новый подход к решению задачи обратной трассировки, основанный на поиске экстремума функционала в виде скалярного произведения вектора сканирования картинной поверхности и радиус-вектора трассируемой поверхности, описываемых в одной системе координат. Это подход позволяет, в частности, построить алгоритм непосредственной трассировки поверхностей, описываемых параметрически, и вообще любых поверхностей, для которых может быть построен функционал, экстремум которого отыскивается на множестве элементов растра картинной поверхности и/или множестве значений параметров, описывающих ЗБ-носитель поверхности.

Научное и практическое значение работы.

Предложенные в данной работе концепция индуцированной виртуальной среды и концепция системы визуализации индуцированной виртуальной среды расширяют представления о системах виртуальной реальности, возможностях этих систем, а также областях их применения.

Построение ИВС и систем визуализации ИВС можно рассматривать как один из первых шагов создания методологии визуализации, использующей методы слежения за поведением объектов, основанные, в первую очередь, на альтернативных (неоптических) принципах. Реализация такого подхода к визуализации позволит расширить возможности оптических (в том числе телевизионных) систем слежения, а также получить принципиально новые возможности, недоступные при использовании обычных систем оптического телевизионного наблюдения, - в частности, возможности «виртуального» или «телеприсутствия».

Большие практические перспективы могло бы иметь применение СВ ИВ С в системах навигации с использованием ЗБ-ГИС, в системах дистанционного пилотирования и вождения.

Возможности визуализации ИВС меняют существующее (достаточно узкое) представление о системах телеприсутствия, которые в нынешнем понимании рассматриваются, в основном, как мультимедийные системы. Визуализация ИВС дает возможность реализовать «виртуальное присутствие» в фактически недоступной среде, например, находящейся на большом удалении, или имеющей условия и параметры, несовместимые с жизнью. Наиболее характерным примером таких сред и соответствующей области применения системы можно считать, в частности, космическое пространство и развертывание и/или эксплуатация больших орбитальных станций, а также исследования планет с помощью автоматов и т.д. Вообще говоря, системы, реализующие концепцию телеприсутствия, могут найти применение во всех областях деятельности, связанных с высоким риском и высокой ценой риска, а также в условиях, при которых оказывается невозможным или затруднительным использование оптических и телевизионных средств наблюдения (либо их использование дает сильно ограниченные возможности наблюдения).

Необходимо также отметить, что предложенные в данной работе методы описания, реконструкции, моделирования поведения и визуализации виртуальных ЗБ-объектов относятся в том числе и к предметным областям, имеющим общенаучное значение (в частности, теория графов, моделирование поведения, модели данных, теория распределенных систем, теория перцептивной перспективы и др.). Поэтому результаты, полученные в данной работе, и относящиейся к этим областям, могут представлять научный и практический интерес не только для систем виртуальной реальности и ЗБ-визуализации, но и для гораздо более широкого круга применений.

Основные результаты.

1. Разработана концепция индуцированной виртуальной среды и системы трехмерной визуализации индуцированной виртуальной среды, являющейся системой визуализации нового поколения, использующей альтернативные (неоптические) данные об объектах наблюдения, и применяемой в условиях, в которых использование обычных оптико-телевизионных средств наблюдения невозможно, затруднено или неэффективно.

2. Исследованы и решены наиболее важные математические задачи описания и обработки данных, описывающих поведение объектов наблюдения, задачи реконструкции поведения и синтеза стереоскопических изображений этих объектов в виртуальной среде, которые образуют математическую основу программного обеспечения систем интерактивной трехмерной визуализации индуцированной виртуальной среды.

3. Создана методология проектирования, разработки и сопровождения программного обеспечения систем трехмерной визуализации индуцированной виртуальной среды, необходимая при разработке человеко-машинных систем для дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения.

4. На основе созданных математических методов и технологии разработки программного обеспечения в ЦУП-ЦНИИМаш разработан и функционирует программный комплекс трехмерной визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекторных измерений и телеметрии реального времени. Комплекс используется при выполнении различных космических программ, в том числе программ «Мир» (до марта 2001 года), Международной космической станции и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения.

Структура и содержание диссертации.

Диссертация состоит из введения, пяти глав, заключения и библиографического списка. Содержание работы изложено на 211 страницах, библиография включает 134 наименования; в работе содержится 106 рисунков и 2 таблицы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Афанасьев, Валерий Олегович

ЗАКЛЮЧЕНИЕ

В диссертации изложены теоретических основы разработки математического и программного обеспечения систем виртуальной реальности нового вида - систем визуализации индуцированной виртуальной среды. Введено понятие индуцированной виртуальной среды, которая может рассматриваться как совокупность ЗБ-моделей реальных объектов, поведение и взаимодействие которых отражает поведение и взаимодействие реальных объектов, а события в виртуальной среде воспроизводят в реальном времени события, параллельно присходящие в реальной среде. В конечном итоге это предоставляет принципиально новые возможности наблюдения за поведением сложных технических объектов и систем, основанные на совместном использовании возможностей технологии «Виртуальная реальность» и получении данных о состоянии объектов наблюдения методами, в которых применяются физические принципы, в основном не связанные с непосредственным использованием оптических диапазонов электромагнитных волн.

Актуальность таких исследований обусловлена прежде всего возрастанием сложности человеко-машинных систем, ростом риска и цены риска ошибочных действий человека в экстремальных уловиях при ограниченных временных ресурсах, которые требуют создания новых информационных технологий, подходов и средств для управления и поддержки принятия решений.

Основными областями деятельности, в которых системы визуализации индуцированной виртуальной среды могут быть востребованными, является в первую очередь освоение космоса (в том числе, развертывание и эксплуатация больших орбитальных станций и исследование планет при помощи автоматов), а также любые области деятельности, связанные с экстремальными и/или несовместимыми с жизнью условиями окружающей среды, где использование обычных средств прямого оптического и субоптического наблюдения (в частности, оптико-телевизионных систем) оказывается невозможным, затруднительным или неэффективным.

В ходе исследований были получены следующие основные результаты.

1. Разработана концепция индуцированной виртуальной среды и системы трехмерной визуализации индуцированной виртуальной среды, являющейся системой ЗБ-визуализации нового поколения, использующей альтернативные (неоптические) данные об объектах наблюдения, и применяемой в условиях, в которых использование обычных оптико-телевизионных средств наблюдения невозможно, затруднено или неэффективно.

2. Исследованы и решены математические задачи, имеющие определяющее значение для разработки программного обеспечения систем интерактивной 30-визуализации индуцированной виртуальной среды и включающие:

• Описание иерархических структур с переменным отношением порядка (ЯТЛ-деревья), их представление в виде ШЯ-списков и алгоритмы рекурсивных ЗО-преобразований на ЯТК-структурах, необходимые для реконструкции в виртуальной среде поведения реальных объектов (в частности, взаимодействия, приводящего к изменению направлений внутренних связей в структурах).

• Геометрическую модель и организацию программного обеспечения интерфейса высокоточной стереоскопической визуализации, которые необходимы для создании стереодисплеев нового поколения, позволяющих создать зрительное воздействие 20-изображений ЗО-объектов приближающееся к зрительному воздействию реальных объектов в 30-пространстве.

• Алгоритмы синтеза изображений ЗО-объектов на основе решения задачи обратной трассировки лучей в расширенной постановке (проецирование на картинную поверхность сложной формы и представление ЗО-объектов в виде составных полиморфных поверхностей), обеспечивающие возможность визуализации на физических носителях сложной формы и позволяющие радикально уменьшить объёмы описаний поверхностей ЗО-объектов.

3. Создана методология проектирования, разработки и сопровождения программного обеспечения систем интерактивной ЗО-визуализации индуцированной виртуальной среды, необходимая при разработке человеко-машинных систем нового поколения для дистанционного слежения, управления, пилотирования, навигации и других систем аналогичного назначения.

4. На основе созданных математических методов, алгоритмов и технологии разработки программного обеспечения в ЦУП ЦНИИМаш создан и функционирует программный комплекс ЗО-визуализации на коллективных и индивидуальных средствах отображения динамических орбитальных операций по данным систем траекторных измерений и телеметрии реального времени.

Комплекс используется при выполнении пилотируемых космических программ, в том числе программы «Международная космическая станция» (до марта 2001 года программы «Мир») и программ освоения космоса с использованием автоматических космических аппаратов различного научного и социально-экономического назначения.

Список литературы диссертационного исследования доктор физико-математических наук Афанасьев, Валерий Олегович, 2007 год

1. Афанасьев В.О. Развитие модели формирования бинокулярного изображения виртуальной 3 D-среды,- Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления», Тверь, 4,2004. с.25-30.

2. Афанасьев В.О. Модели структур и данных для решения задач управления поведением и взаимодействием объектов в индуцированной виртуальной среде. -Космонавтика и ракетостроение, №2(39), Изд-во ЦНИИМаш, 2005. с.168-179.

3. Афанасьев В.О. Деревья и связанные списки с переменным отношением порядка (RTR-структуры). Программирование, т.32, № 6, 2006.

4. Версия 3. в переводе на английский язык: Afanasiev V.O. Trees and Linked Lists with Variable Ordering Relations (RTR Structures). Programming and Computer Software, Vol. 32, No.6,2006, pp.324-337.

5. Афанасьев В.О. Особенности программного обеспечения распределенной системы 3 D-визуализации для отображения состояния орбитального комплекса. -Космонавтика и ракетостроение, № 4(45), Изд-во ЦНИИМаш, 2006.

6. Афанасьев В.О. Задача обратной трассировки лучей в расширенной постановке. Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления», Тверь, №3,2006. с.33-38.

7. Афанасьев В.О. Синтез стереопар трехмерных изображений волновых фронтов.-Метрология (Ежемесячное приложение к н.-т. ж-лу «Измерительная техника»), 4, М.: Издательство стандартов, 1994, с.35-39.

8. Афанасьев В.О. Синтез изображений центральных проекций отражающих объетов методом обратной трассировки в ИК-диапазоне.-Измерительная техника, 7, М.: Издательство стандартов, 1994, с. 23-24.

9. Афанасьев В.О. Обратная трассировка на продолжении вектора сканирования картинной поверхности.-Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.210.

10. Афанасьев В.О. Задачи обратной трассировки пространственных объектов произвольной формы.-Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.2Ю.

11. П.Афанасьев В.О. Система полиморфных ЗО-примитивов для порождения виртуальных актеров. Имитационное моделирование и автоматизация программирования: Сб.науч.трудов. /Под ред. Н.В.Макарова-Землянского.-М.: Изд-во МГУ, 1997.-107С., с.71-79.

12. Афанасьев В.О., Томилин А.Н. Модель данных для проектирования базы данных виртуальных актеров. Имитационное моделирование и автоматизация программирования: Сб. науч.трудов. /Под ред.Н.В.Макарова-Землянского.-М.: Изд-во МГУ, 1997.-107С., с.64-70.

13. Афанасьев В.О., Клименко С.В. Геометрические модели высокоточного формирования бинокулярного изображения виртуальной среды в ближней зоне//В сб. Трудов XLVII научной конференции МФТИ, М.: Корп. «Ланит», 2004,206с., с. 190-201.

14. Алешин В.И., Афанасьев B.O., Галис P.M., Банковский Ю.М., Томилин А.Н. Виртуальная реальность проблемы освоения новой технологии.- Программные продукты и системы. Гл. ред. м.-нар. Журнала «Проблемы теории и практики управления» 4,1994. с.9-12.

15. Алешин В.И., Афанасьев В.О. и др. Фундаментальные исследования, проводимые в ЦУП-М при поддержке РФФИ.-Космонавтика и ракетостроение, №3, Изд-во ЦНИИМаш, 1996.

16. Алешин В.И., Афанасьев В.О. Система отображения состояния орбитального комплекса сложной структуры. Космонавтика и ракетостроение, №25, Изд-во ЦНИИМаш, 2001.

17. В.О.Афанасьев, В.И.Алешин, В.Н.Почукаев, А.Н.Томилин. Технологии «Искусственный интеллект» и «Виртуальная реальность» в системах автономной навигации. Космонавтика и ракетостроение, Х°18, Изд-во ЦНИИМаш, 2000.

18. Афанасьев В.О., Алешин В.И., Галис Р.М.,Саночкин A.C., Томилин А.Н. Синхронизация погруженияв^ .Моделирование сложных систем и виртуальная реальность: Сб. «Вопросы кибернетики /Под ред. Ю.М.Баяковского и А.Н.Томилина.- М: Изд-во РАН, 1995,181, с.210.

19. Афанасьев В.О., Клименко C.B. и др. Задача обратной трассировки лучей. Поиск новых подходов и вычислительных реализаций. //В сб. Трудов 6-го М.-народного Семинара по виртуальному окружению на кластерах ПК «VeonPC 2006»: Изд-во ИФТИ^ООб, сЛ 1-22.

20. Afanasiev V., Baigozin D., Kazanski I., Fomin S., Klimenko S. RTR-Trees for Space Robotics Behavior Simulation and Visualization. VISUAL COMPUTER 2006. Special Issue, 2006, IEEE Computer Society Press.

21. Афанасьев В.О. (под псевдонимом В.Олегов) Костюм «Виртуанавта».- Наука и жизнь, №2, М.: 1999, с.112, с.61-62.

22. Афанасьев В.О., Томилин А.Н. Технологии виртуальной реальности. Стенограмма телевизионной передачи «Александр Гордон», №16 от 03.04 2003, http://www.gordon.ru.

23. Томилин А.Н., Афанасьев В.О. Виртуальная реальность.-Наука и жизнь, №2, М.:1999, с.112, с.58-60.

24. Авраамова О.Д. Язык VRML. Практическое руководство.-М.: Диалог-МИФИ,2000.-288с.

25. Баяковский Ю.М., Галактионов В.А., Михайлова Т.Н. ГРАФОР. Графическое расширение Фортрана // М.: Наука, 1985.

26. Беклемишев Д.В. Курс аналитической геометрии и линейной алгебры: Учеб. Для ВУЗов.-9-e изд., испр.-М.: Физико-математическая литература, 2002.-376с.

27. Гарольд Э., Минне С. XML. Справочник: Пер. с англ.- СПб: Символ-Плюс.2003.-576с.

28. Борисевич Н.А., Верещагин В.Г., Валидов М.А. Инфракрасные фильтры. М.: Наука и техника, 1971.

29. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. 2-е изд./ Пер. с англ.-М.: «Издательство Бином» ,СПб.: «Невский диалект». 2000.-560с.

30. Буч Г., Рамбо Дж., Джекобсон A. UML. Руководство пользователя.: Пер. с англ.-2-е изд., стер.-М.: ДМК Пресс; СПб.: Питер, 2004.-432с.

31. Вайвил Д., Цао Ен, Тротмен А. Поверхность Цао Ена: новый подход к геометрическим моделям произвольных форм. Программирование № 4, 1992, с.4-16.

32. Гамма"" Э., " Хёлм ~ Р., "Джонсон-" Р.7 Влиссидес " Дж." Приемы объектно-ориентированного программирования. Паттерны проектирования.- СПб.: Питер, 2004.- 366с.

33. Гома X. UML. Проектирование систем реального времени, параллельных и распределенных приложений.: Пер. с англ.-М.: ДМК Пресс, 2002, 704с.

34. Зуев В.Е. Прозрачность атмосферы для видимых и инфракрасных лучей. М.: Советское радио, 1966.

35. Камер Д.Э., Стивене Д.Л. Сети TCP/IP. Том 3. Разработка приложений клиент/сервер для Linux/POSIX.: Пер. с англ.-М.: Издательский дом «Вильяме», 2002.-592с.

36. Каррано Ф.М., Причард Дж. Абстракция данных и решение задач на С++. Стены и зеркала, 3-е изд.: Пер. с англ.-М.: Издательский дом «Вильяме», 2003.- 848с.

37. Катыс Г.П., Катыс П.Г., Яковлев А.И. Трехмерные системы представления объемной информации. М.: СИП РИА, 1998-112с.

38. В.А.Козлов, М.В.Сафонов. Динамическая характеристика электрохимической ячейки с сетчатыми электродами в условиях конвективной диффузии. Электрохимия, Т. 40, вып. 4,2004.

39. Коренев Г.В. Введение в механику человека.- М.: Наука, 1977,264 с.

40. Кравков C.B. Глаз и его работа. М.-Л. Изд. АН СССР. 1950.

41. Кристофидкс. Н. Теория графов. Алгоритмический подход.- М.: Мир, 1978.

42. Ландсберг Г.С. Оптика.-М.:Наука, 1976,928с.

43. Литвак И.И., Ломов Б.Ф., И.Е.Соловейчик. Основы построения аппаратуры отображения в автоматизированных системах.-М.: Советское радио, 1975.

44. Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов.-М.: Радио и связь, 1987.

45. Мартинес Ф. Синтез изображений. Принципы, аппаратное и программное обеспечение. М.: Радио и связь, 1990.

46. Мусхелишвили Н.И. Курс аналитической геометрии.-М.: Высшая школа, 1967.-656с.

47. Новиков Ф.А. Дискретная математика для программистов.- СПб.: Питер, 2004.-302с.

48. Питц-Моултис Н., Кирк Ч. XML: Пер. с англ.- СПб: БХВ-Петербург, 2001.-736с.

49. Препарата Ф., Шеймос М. Вычислительная геометрия: Введение: Пер. с англ. под ред. Ю.М.Баяковского-М.: Мир. 1989. 478с.

50. Причард Дж. СОМ и CORBA просто и доступно.: Пер. с англ.-М.: Издательство «Лори», 2001.-3 72с.

51. Степанов Б.И. Введение в современную оптику. О возможном и невозможном в оптике.- Мн.: Наука и техника, 1989.-254с.

52. Страуструп Б. Язык программирования С++. Спец.изд./ Пер. с англ.-М.: «Издательство Бином», СПб.: «Невский диалект». 2000.-1099с.

53. Уилсон Р. Введение в теорию графов.- М.: Мир, 1977.

54. Глобальная спутниковая навишационная система ГЛОНАСС / Под ред. Харисова В.Н., Петрова А.И., Болдина В.А. 2-е изд. М.: ИПРЖР, 1999.

55. Хилл Ф. OpenGL. Программирование компьютерной графики. -СПб.Литер,2002.-1088с. .

56. Цимбал А., Аншина А. Технологии создания распределенных систем.- СПб.: Питер, 2003.-576 с.

57. Цимбал А. Технология CORBA. СПб.: Питер, 2001.

58. Шаллоуей А., Тротт Дж. Шаблоны проектирования. Новый подход к объектно-ориентированному анализу и проектированию.: Пер. с англ.-М.: Издательский дом «Вильяме», 2002.- 288с.

59. Шикин Е.В., Боресков A.B. Компьютерная графика. Полигональные модели.-М.: Диалог-МИФИ, 2001.-464с.

60. Шикин Е.В., Плис А.И. Кривые и поверхности на экране компьютера. Руководство по сплайнам для пользователей.-М.: Диалог-МИФИ, 1996.-240с.

61. Шульговский В.В. Основы нейрофизилогии: Учебное пособие.-М.: Аспект Пресс, 2002.-277с.

62. Элиенс А. Принципы объектно-ориентированной разработки программ. 2-е изд./ Пер. с англ.-М.: Издательский дом «Вильяме», 2002.- 496с.

63. Эндрюс Г.Э. Основы многопоточного, параллельного и распределенного программирования.: Пер. с англ.-М.: Издательский дом «Вильяме», 2003.-512с.

64. Дискреная математика и математические вопросы кибернетики. Под ред. Яблонского С.В. и Лупанова О.Б.- М.: наука, 1974.85. «Жидкая линза» для мобильных устройств.- Пресс релиз hpc.ru, 10.03.2004.

65. Amanatides J., "Ray Tracing with Cones," Computer Graphics, 18(3), pp. 129-135 (July 1984).

66. Bajura M. and Neumann U. "Closed-Loop Tracking for Augmented-Reality Systems. "IEEE Computer Graphics & Applications, Vol. 15, No. 5, pp. 52-60. September 1995.

67. Bruderlin, A., Calvert, T. W. 1989. Goal-Directed, Dynamic Animation of Human Walking. Computer Graphics 23(3):233-242.

68. Burdea G., Coiffet P. Virtual Reality Technology. New York: John Wiley&Sons, Inc, 1994.

69. Y.Cho, J.Lee, U.Neumann. "A Multi-ring Color Fiducial System and A Rule-Based Detection Method for Scalable Fiducial-tracking Augmented Reality." Proceedings of the First International Workshop on Augmented Reality, San Francisco, Nov. 1998.

70. Y.Cho, J.Park, U.Neumann. "Fast Color Fiducial Detection and Dynamic Workspace Extension in Video See-through Self-Tracking Augmented Reality "Proceedings of the Fifth Pacific Conference on Computer Graphics and Applications, pp. 168-177, Oct. 1997.

71. Cho Y. K. and Neumann U., Multi-Ring Fiducial Systems for Scalable Fiducial-Tracking Augmented Reality, "PRESENCE: Teleoperators and Virtual Environments, Vol. 10, No. 6., pp. 599-612, December 2001.

72. M.G. Choi, J. Lee, and S.Y. Shin. Planning biped locomotion using motioncapture data and probabilistic roadmaps. ACM transactions on Graphics, Vol.22(2), 2003.

73. Fujimoto, A. and Iwata, K., "Accelerated Ray Tracing," Proc. CG Tokyo'85, pp.41-65.

74. S.Gottschalk, M.C.Lin and D.Manocha. OBB-Tree: A hierarchical structure for rapid interference detection, Department of Computer Science, UNC Chapel Hill, 1996.

75. Hanrahan, P., "Ray Tracing Algebraic Surfaces," Computer Graphics, 17(3), pp. 83-90 (July 1983).

76. Heckb~eft7 P. arid Hanrahan, P., "Beam Tracing Polygonal Objects," Computer Graphics, 18(3), pp. 119-127 (July 1984).

77. Helsel S.K. (Ed.). Beyond the vision. The technology, research and business of virtual reality. Meckler, London, 1992.

78. W. M. Hsu, J. F. Hughes, and H. Kaufman. Direct manipulation of free-form deformations. Computer Graphics (Proceedings of SIGGRAPH 92), 26:177-184, July 1992.

79. J. Hu, S. You, U. Neumann, "Approaches to Large-Scale Urban Modeling," IEEE Computer Graphics and Applications, Vol. 23, No. 6, pp. 62-69, November 2003.

80. Information technology — Computer graphics and image processing — Extensible 3D (X3D) ISO/IEC 19775:200x.

81. ISO/IEC FCD 19774 Humanoid animation (H-Anim). http://www.web3d.org/x3d/ /specifications/ISO-IEC-19774-FCD-HumanoidAnimation

82. B. Jiang, S. You, U. Neumann, "A Robust Tracking System for Outdoor Augmented Reality," IEEE Virtual Reality 2004, Chicago, pp. 3-10, March 27-31,2004.

83. B. Jiang and U. Neumann, "Extendible Tracking by Line Auto-Calibration" Proceedings of International Symposium on Augmented Reality, pp.97-103, New York, NY, October 2001.

84. Kajiya, J.T., "New Techniques For Ray Tracing Procedurally Defined Objects," Computer Graphics, 17(3), pp. 91-102 (July 1983).

85. Komura T., Shinagawa Y. and T.L. Kunii. Creating and retargeting motion by the musculoskeletal human body model. The Visual Computer, 16, pp.254-270,2000.

86. L. Kovar, M. Gleicher and F. Pighin. Motion graphs. Proceedings of SIGGRAPH'02, 2002.

87. L. Kovar, M. Gleicher and J. Schreiner. Footstake cleanup for motion capture. Proceedings of ACM SIGGRAPH Symposium on Computer Animation (SCA'02),2002.

88. Lane, J.M., Carpenter, L.C., Whitted, T., and Blinn, J.F., "Scan Line Methods for Displaying Parametrically Defined Surfaces," Comm. of the ACM, 23(1), pp. 23-34 (January 1980).

89. Lee J., and Shin S.Y. A hierarchical approach to interactive motion editing for human like figures. Proceedings of SIGGRAPH 99,39-48,1999.

90. Liu Z., Gortler S.J., Cohen M.F. Hierarchical Spacetime Control, Proceedings of SIGGRAPH 94, Computer Graphics Proceedings, Annual Conference Series, pp. 3542, 1994.

91. J. W. Lee, S. You, and U. Neumann, "Tracking with Omni-Directional Vision for Outdoor AR Systems," IEEE ACM International Symposium on Mixed and Augmented Reality (ISMAR 2002), pp. 47-56, Darmstadt, Germany, October 2002.

92. Magnenat-Thalmann N, Thalmann D. Computer Animation: Theory and Practice, 2nd edition, Springer-Verlag, Tokyo. 1990

93. D. McLeod, U. Neumann, C.L. Nikias, A. Sawchuk. "Integrated Media Systems: The Move Toward Media Immersion" IEEE Signal Processing Magazine, Vol. 16, No. 1, January 1999.

94. Miller, G. S. P., 1988. The Motion Dynamics of Snakes and Worms. Computer Graphics 22(4): 169-178.

95. Molet T., Boulic R., Thalmann D. A real time anatomical converter for human motion capture. Eurographics Workshop on Computer Animation and Simulation, pp. 79-94, 1996.

96. U.Neumann and Y.Cho. "A Self-Tracking Augmented Reality System" ACM International Symposium on Virtual Reality and Applications, pp. 109-115, July 1996.

97. U. Neumann, "S.You. "Natural Feature^ Tracking for' Augmented Reality" "IEEE" Transactions on Multimedia, Vol. 1, No. 1, pp. 53-64, March 1999.

98. U. Neumann, S. You, J. Hu, B. Jiang, and I. O. Sebe, "Visualizing Reality in an Augmented Virtual Environment," presence: Teleoperators and Virtual Environments Journal, April 2004

99. U. Neumann, S. You, J. Hu, B. Jiang, and J. W. Lee, "Augmented Virtual Environments (AVE): Dynamic Fusion of Imagery and 3D Models", IEEE Virtual Reality 2003, pp. 61-67, Los Angeles California, March 2003.

100. J. Park, S. You, and U. Neumann. "Extending Augmented Reality with Natural Feature Tracking" Proceedings of SPIE (The International Society for Optical Engineering) Vol.3524-15,Nov. 4,1998.

101. Potmesil, M. and Chakravarty, I., "Synthetic Image Generation with a Lens and Aperture Camera Model," ACM Trans, on Graphics, 1(2), pp. 85-108 (April 1982).

102. T. Pintaric, A. Rizzo, U. Neumann, "Video-based virtual environments," Proc. of the ACM SIGGRAPH 2003 Conference on Sketches & Applications, San Diego, July 2003

103. Requicha, A.A.G., "Representations for Rigid Solids: Theory Methods and Systems," Computing Surveys, 12(4), pp. 437-464 (December 1980).

104. Sebe O., Hu J., You S., Neumann U.," 3D Video Surveillance with Augmented Virtual Environments", ACM SIGMM 2003 Workshop on Video Surveillance, pp 107112, Berkeley, California, (in conjunction with ACM Multimedia 2003), November 7, 2003

105. Z. Shiller, K. Yamane & Y. Nakamura. Planning motion patterns of human figures using a multi-layered grid and the dynamic filters. Proceedings of IEEE International Conference on Robotics and Automation (ICRA'01), 2001.

106. D. Tolani and N. I. Badler. Real-time inverse kinematics of the human arm. Presence, 5(4):393-401,1996.

107. Van Wijk, J.J., "Ray Tracing Objects Defined By Sweeping a Sphere," Computers and Graphics, 9(3), pp. 283-290 (1985).

108. S. You, U. Neumann, and R. Azuma. "Hybrid Inertial and Vision Tracking for Augmented Reality Registration", IEEE Virtual Reality '99, pp. 260-267, March 1999.