ГРАФИЧЕСКИЕ ЯЗЫКИ СИСТЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ Зори Сергей Анатольевич, д.т.н., профессор кафедры ПИ [email protected] Структура курса (лекции): 1. Системы виртуальной реальности – история возникновения и развития, состав, классификация, перспективы и проблемы. 2. Языки и Технологии создания виртуальной реальности в Интернет – язык VRML-X3D для создания виртуальных миров, инструментарии. Структура курса (практическая часть): Лабораторные работы – использование языка VRML-X3D и их инструментариев для создания виртуальных миров (3). Зачет Современные информационные технологии создания виртуальных миров в Интернет Компьютерные технологии создания систем виртуальной реальности Лекция 1. Виртуальная реальность С экранов телевизоров, со страниц компьютерной и некомпьютерной прессы все чаще слышится словосочетание "виртуальная реальность". Что же скрывается под этим модным сегодня словом? Термин «ВР» создан в Массачусетском Технолог. Институте в 1985 г. (Джаарон Леньер). ВР – это искусственная действительность, созданная с использованием аппаратнопрограммных средств, с обеспечением двусторонней связи и эффекта участия человека в сконструированных сценах и событиях в реальном времени с высокой степенью реализма. Несмотря на широкое распространение термина «виртуальная реальность», до сих пор не сформировано единого мнения по поводу того, чем же она является, есть самые разные определения. Общим в них является рассмотрение ВР как комплекса методов, принципов и технических средств, обеспечивающих возможность визуального компьютерного моделирования реального мира в реальном времени с возможностью интерактивного влияния на него пользователя. Сегодня ВР – это не просто термин, а компьютерная информационная технология. Цель ВР - создать компьютерными и техническими средствами мир (сцену - объекты и субъекты), передаваемый человеку (посетителю этого мира) через его ощущения (зрение, слух, обоняние, осязание и другие) с высокой степенью реализма. ВР должна имитировать как интерактивное воздействие, так и реакции на эти воздействия. Компьютерный синтез свойств и реакций ВР должен производиться в реальном времени. Системы, реализующие ВР, называют системами виртуальной реальности (СВР) СВР - история возникновения и развития * Предшественники СВР 1. Попытка соединить визуальное восприятие с восприятием движения и звука – рычажный летный тренажер марки "Линк Трэйнер", запатентованный в 1929 году; в модели использовались движущаяся картинка и пневматические передачи, позволяющие моделирующему устройству создавать удовлетворительное ощущение движения. * Сегодня Тренажер самолета МиГ-29 "КТС21М" Е-Shift 8K в CRVS Boeng 2. СINERAMA и SENSORAMA В 1952 году изобретатель Фред Воллер создал экспериментальный кинотеатр «Сinerama» , а в 1962 г. Мортон Хейлиг создал усовершенствованный имитатор "Sensorama", в котором при демонстрации фильма о поездке имитировались тряска, шум, порывы ветра, дым, запахи - попытка разработки различных средств комплексной имитации, при помощи которых человек получал ощущение псевдореальности некой искусственно созданной среды. СINERAMA – вогнутый экран, 3 широкоэкранных проектора, стереозвук, подвижная система кресел, 17 человек для обслуживания. SENSORAMA – первый «3D- дисплей-шлем», цветные динамические стерео-изображения, объединенные с направленным звуком, обдувом-ароматами, перемоткой и колебаниями кресла. * Сегодня «Новое – хорошо забытое старое?» 3. Компьютерная 3Д-графика - идея машинно-генерируемой визуальной псевдо-реальности. С начала 1960-х годов разработкой технических устройств (первые реальные результаты в области ВР) занимался Айван Сазерлэнд. 1965 год- работа "Идеальный дисплей", положившая начало техническим и технологическим разработкам в области обработки и вывода изображений (один из «отцов» КГ). * Сегодня * Сегодня 4. В 1972 году Майрон Крюгер ввел термин "искусственная реальность" ("artificial reality") для определения тех результатов, которые могут быть получены при помощи системы видеоналожения изображения реального объекта (человека) на генерируемую компьютером картинку – идея повышения степени реализма. Основные идеи были впоследствии опубликованы в книге "Artificial Reality" (1983 г.). * Сегодня 5. В 1984 году Уильям Гибсон опубликовал роман "Neuromancer", в котором впервые ввел понятие "киберпространства" ("cyberspace"): киберпространством стали называть пространство, созданное всемирной телекоммуникационной сетью и другими компьютерными системами для связи и взаимодействия человека и машины. – идея интеграции в компьютерные сообщества и сети. Некоторые идеи Гибсона были впоследствии реализованы разработчиками систем ВР * Сегодня * СВР С появлением нового поколения компьютеров в конце восьмидесятых годов произошел прорыв в разработке систем ВР. Тогда же, собственно, и появился термин "Virtual Reality", который в 1984 г. ввел Джаарон Леньер (МТИ), являющийся в настоящее время одним из известнейших специалистов в области ВР, бизнесменом, писателем, музыкантом, художником . Он создал фирму VPL Research Corporation в г. Фостер, штат Калифорния, которая стала первой компанией по созданию систем ВР и их основных атрибутов. Состав СВР Компьютер Виртуальный мир Манипуляторы Детекторы 3D- звук 3D- графика Органы чувств Человек Синтез других воздействий Первые СВР автомобильные- и авиатренажеры, сегодня 1. Кабинные симуляторы (cab simulators) или симуляторы транспортных средств. 2. Системы искусственной реальности (artificial, projected reality), в которых пользователи видят реальные видеозаписи, наложенные на виртуальное пространство трехмерных образов - идея совмещения видео и компьютерной графики в реальном времени для повышения степени реализма образов компьютерной графики. 3. Системы "расширенной" или «дополненной» реальности (augmented reality) - дополнение реальности любыми виртуальными элементами, генерируемых компьютером. Дополненная реальность — составляющая часть смешанной реальности (mixed reality) - когда реальные объекты интегрируются в виртуальную среду. 4. Системы телеприсутствия (telepresence) используют видеокамеры, микрофоны и манипуляторы для погружения в виртуальное окружение пользователя (впечатление того, что он находится и/или воздействует на место, отличное от его физического местоположения). 5. Специализированные ВР-системы системы виртуального окружения (CAVE) и другие. CAVE представляют из себя комнату (VE Room), на все стены которой проецируется 3D изображение. Положение пользователя, повороты его головы отслеживаются трекинговыми системами, что позволяет добиться максимального эффекта погружения. Данные системы активно используются в маркетинговых, военных, научных и других целях. The CAVE *Разновидностью CAVE являются «сферическая» система CyberSphere Устройства СВР 1. Стерео- очки ВР Например, EyeScream от Wicked3D и Сrystal Eyes от Stereographics – 160 Гц, $125 Sony - умные очки SmartEyeglass. 2. Виртуальные бинокли Основа биноклей - активные LCD-матрицы с углом обзора 30-60 градусов. Например, V6 и V8 от Virtual Research Systems, Virtual Binoculars (VB) от n- Vision - 1.3" ЖК матрица, разрешение ((640х3)х480), частота регенерации - 60 Гц, 3. VR-шлем (Head-Mounted-Display, HMD) Все VR-шлема базируются на одной и той же технологии: изображение в них подается на ЖК-матрицу в зависимости от положения человека в виртуальном пространстве.+ Eye Tracker (устройство слежения за движениями глазного яблока) + гироскопы. 4. Стерео- дисплей Стереоскопический 3D- дисплей (stereoscopic display) использует для 3D- воспроизведения объемных изображений принципы стереоскопии и стерео-компьютерные технологии (для просмотра необходимы 3Д- стерео-очки). 5. Объемный 3Д- дисплей Объемный 3D- дисплей (volumetric 3D- display) - объёмное изображение формируется (при помощи различных физических механизмов) из светящихся точек в пределах некоторого объёма. 6. Ракурсный объемный монитор ЖК-мониторы, формирующие объёмное изображение за счёт разного угла обзора. Пользователь не должен надевать очки или стоять в строго отведённом месте. Камера определяет точное положение глаз зрителей по всем трём координатам, и компьютер очень точно приспосабливает трёхмерное изображение к углу обзора в пределах 60 градусов. 7. Виртуальный ретинальный монитор Virtual retinal display, VRD; retinal scan display, RSD — технология устройств вывода, формирующая изображение непосредственно на сетчатке глаза. В результате пользователь видит изображение, «висящее» в воздухе перед ним. 8. VR - перчатки Отслеживать движения пальцев помогает сложная система эластичных световодов и пара десятков датчиков. Как только палец начинает сгибаться, световод сужает просвет, а датчики улавливливают падение интенсивности света на каком-либо участке. Адекватно этим изменениям ведет себя кисть в виртуальном пространстве - 148 Гц, 300 гр, $500 Есть с датчиками температуры 9. VR-костюм SpacePad от Ascension Technology Corporation Комбинезон со множеством магнитных сенсоров, которые отслеживают движения всех частей тела. К нему добавляется HMD, датчик(и) кисти (реже перчатка) и провода для присоединения всего этого к компьютеру. 10. VR-кресла Кресло снабжено несколькими 3Д-колонками, передающими все изменения с помощью звуков. $400 . 11. Комнаты виртуальной реальности VE Room. Области применения СВР СВР является эффективным инструментом для обучения и отработки сценариев поведения и взаимодействия человека с реальным окружением, которое очень важно для многих областей применения, особенно – потенциально опасных для жизни человека и затратных (плохо обученный персонал повышает риски, существенно увеличивает материальные затраты). Отсюда: Основные области применения СВР • Военные симуляторы - для имитации боевых событий и действий и в качестве тренажеров для быстрого обучения ведения боя в ситуациях, создаваемых такими имитациями • Тренажеры транспортных средств • Проблемно-ориентированные симуляторы • Индустрия развлечений - виртуальные миры становятся логическим продолжением компьютерных игр (собственно комп. игры, аттракционы, кино, шоу-индустрия и пр.) • Моделирование сложных событий с участием человека Пример использования СВР Пример использования СВР Пример использования СВР Симулятор «Виртуальная шахта» (проект ДонНТУ с участием магистров ИПЗ) Пример использования СВР Симулятор «Виртуальная шахта» 52 Пример использования СВР Симулятор «Виртуальная шахта» (на графическом кластере NVIDIA) 53 Интернет-ВР: Active Worlds (AW) — это трехмерный виртуальная реальность с элементами социальной сети. Проект был разработан в 1997 г. компанией Active Worlds. Корпоративные и образовательные клиенты Active Worlds могут использовать взаимодействие, коммуникацию, и СМИ, чтобы обеспечить функциональную окружающую среду, которой удовлетворяют их потребности. Second Life — разработан в 2003 г. Linden Lab - это трехмерный виртуальный мир с элементами социальной сети, который насчитывает сегодня свыше 1 млн пользователей. Эта компьютерная программа симулирует жизнь общества аватаров реальных пользователей, включая их общение в реальном времени, путешествие по виртуальному миру и пр.. Однако, на сегодняшний день «полноценные» системы виртуальной реальности фактически не созданы и/или еще не получили массового распространения в силу их дороговизны и недостаточно высокого качества моделирования виртуального мира (низкий уровень присутствия и погружения в виртуальный мир). Программные средства для создания программных и интернет- СВР «Начинку» мира создают с использованием самых разнообразных средств. Стандартов – нет. Наиболее популярные на сегодня технологии: 1. Оpensimulator (http://opensimulator.org/) Однако, серверная часть не содержит клиентского ПО, которое может визуализировать миры. Для этого могут использоватся сторонние клиенты. Наиболее совместимым является HippoViewer http://mjm-labs.com/viewer/download.php 2. X3D - VRML - (http://www.web3d.org, http://vrml.org) Попытка создать универсальную программную технологию на основе языков VRML и XML для создания интерактивных виртуальных миров в Интернет. X3D — предназначен для работы с трёхмерной графикой в реальном времени (мощнейший 3D-рендердвижок), открытый, является расширением VRML, включающим анимацию двуногих персонажей, NURBS, GeoVRML и др. В X3D возможно кодировать сцену используя синтаксис XML, равно как и Open Inventor (синтаксис VRML97), а также расширенный интерфейс прикладного программирования (API). Хотя VRML в чистом виде ещё продолжает использоваться в некоторых областях, особенно в образовательной и исследовательской сфере, где наиболее ценятся открытые спецификации, сегодня чаще используется X3D (ISO/IEC 19775-1), который обратно-совместим с ним и по сути есть симбиоз VRML и XML. VRML также продолжает использоваться в качестве файлового формата для обмена 3D-моделями в современных 3D- билдерах и движках (Unity3D, Blender), в САПР, один из основных стандартных форматов представления моделей для 3D-принтеров. Альтернативы X3D / VRML 3DMLW — язык 3D разметки для Веб (3D Markup Language for Web) • COLLADA — управляется Khronos Group • O3D — разработан Google • U3D — стандарт Ecma International ECMA-363 • Проблемы современных СВР: 1. Основная проблема СВР – обеспечить адекватность восприятия мозгом человека искусственной информации и реальной, поступающих от его рецепторов, а также ее полноты. Диссонанс вызывает дезориентацию, неадекватность поведения, болезни. 2. Слабая «реалистичность» современной 3Дграфики (легко отличить реальный объект от виртуального). 3. «Слабость» современных компьютерных систем для обеспечения требований РВ для сложных реальных сцен. 4. Технологические трудности аппаратуры СВР. 5. Дороговизна 6. Психологические проблемы пользователей (нежелание облачаться в неудобную аппаратуру). 7. Высокая психологическая зависимость («наркотик»). Перспективные пути развития СВР: «Успехи СВР приведут к коренным изменениям в научнотехнической сфере, а также могут повлечь существенные социальные преобразования!» 1. Повышение степени реализма: 1.1 Средства ВР будут развиваться к тому, чтобы воздействовать комплексно на как можно больше органов чувств человека (запахи, тактильные ощущения, ...) – «прямое подключение к нервной системе» - передавать непосредственно нервным окончаниям, и даже напрямую к мозгу посредством мозговых интерфейсов 1.2 использование реалистичной объемной 3D- компьютерной графики (3D Volume Graphics) реального времени с 3D-стерео- или 3D- пространственным отображением 1.3 использование Hi-Res многоканального реалистичного звука 2. Развитие мощи аппаратной и алгоритмической базы СВР. 3. Тесная интеграция в Интернет (создание интерактивных киберпространств). СВР 2-2 СВР 3 СВР 1-1 СВР 2-1 СВР 1-2 СВР 1-3
