虚拟现实技术及应用

第1章虚拟现实技术概论
【主要知识点】
（1）虚拟现实技术的定义。
（2）虚拟现实技术的发展历史。
（3）虚拟现实系统的组成。
（4）虚拟现实技术的特性。
（5）虚拟现实系统的分类。
（6）虚拟现实技术的发展现状。
（7）虚拟现实技术的应用。
虚拟现实技术是20世纪末逐渐兴起的一门综合性技术，涉及计算机图形学、多媒体技术、传感技术、人机交互、显示技术、人工智能等多个领域，交叉性非常强。虚拟现实技术在教育、医疗、娱乐、军事等众多应用领域有着非常广泛的应用前景。由于改变了传统的人与计算机之间被动、单一的交互模式，用户和系统的交互变得主动化、多样化、自然化，因此虚拟现实技术被认为是21世纪发展最为迅速、对人们的工作生活有着重要影响的计算机技术之一。
1.1虚拟现实技术的定义
虚拟现实的英文名称为virtual reality(简称VR)。virtual意味着用户感知到的世界并非真实的，而是由计算机技术虚拟生成的；reality一词的含义是现实，泛指存在于真实世界中的各种事物。两个单词合起来称为虚拟现实，也叫灵境技术或虚拟环境。
目前尚无对虚拟现实的标准定义，现有的多种定义可分为狭义和广义两种。狭义的定义将虚拟现实技术视为一种智能人机接口。在虚拟环境中，用户可以用真实世界中的感知方式来感受计算机生成的虚拟世界，得到和真实世界中一致的感受。用户可以通过视觉、听觉、触觉、嗅觉等感官通道看到彩色的、立体的虚拟景象，听到虚拟环境中的立体声音，感觉到虚拟环境反馈的作用力，甚至闻到虚拟环境中的气味。广义的虚拟现实是对虚拟想象或真实世界的模拟，它不仅是一种人机界面，更是对虚拟世界内部的模拟。在对特定场景的真实再现中，用户通过自然方式接收虚拟环境中的各种感官刺激并加以响应，与虚拟场景中的事物发生交互，从而产生身临其境的感觉［1］。
虚拟现实技术创造的虚拟世界是三维的、由计算机生成的、存在于计算机内部的虚拟世界［2］。这种虚拟世界可以是真实世界的再现，如网上世博会展示的古代建筑；也可以是虚拟游戏等现实生活中不存在或难以实现的场景，如电影《阿凡达》中的虚拟世界；还可以是人类在真实世界中不可见的事物，如空气中的PM2.5、温度和压力的分布等。
综上所述，虚拟现实技术的定义是：采用以计算机技术为核心的现代科技手段和特殊输入/输出设备模拟产生的逼真的虚拟世界。这个虚拟世界可以是对现实世界的复制，也可以是现实世界中完全不存在的。在这个虚拟世界中，用户可以像在自然世界中一样沉浸其中，通过自由、主动的交互得到身临其境的感受。用户可以通过视觉、听觉、触觉、嗅觉等多通道感官功能看到、听到、摸到、闻到如同现实世界一样真实的场景。
1.2虚拟现实技术的发展历史
早在20世纪50年代就有人提出了虚拟现实的构想，但由于缺乏必要的软硬件支持，虚拟现实技术在当时并未得到很大的发展。直到20世纪80年代末，随着计算机技术的迅速发展和互联网技术的普遍应用，虚拟现实技术才得到了快速发展和广泛应用。
虚拟现实技术的发展大致可以分为三个阶段：20世纪70年代以前是虚拟现实思想的产生阶段，20世纪80年代是虚拟现实技术的初步发展阶段，20世纪80年代末至21世纪初是虚拟现实技术的高速发展阶段。
1.2.1虚拟现实思想的产生
虚拟现实思想的艺术起源最早可追溯到出现于19世纪60年代的360°大型壁画，如意大利建筑师、画家Baldassare Peruzzi创作的壁画Sala delle Prospettive。
最早体现虚拟现实思想的设备当属1929年由Edward Link设计的室内飞行模拟训练器。飞行员通过模拟器进行飞行训练，获得较为逼真的飞行感受，从而在室内就能进行飞行模拟训练，弥补了传统教练机由于机翼短而不能产生足够动力的设计缺陷。
1957年，美国科学家Morton Heilig建造了一个叫Sensorama的原型系统［3］，该系统可供1~5人同时观看，在播放三维动画的同时提供声、光、气味、触感等多种感知反馈，用户可以感觉到坐椅的震动及风吹头发的感觉(图1.1)。虽然该设备不具备交互功能，但Morton仍被视为“沉浸式VR系统”的实践先驱，并于1962年获得专利。而后Morton又设计了Sensorama的改进版：可供多人同时观看的Experience Theater。
图1.1Sensorama
1965年，美国科学家Ivan E. Sutherland在Ultimate Display［4］(终极显示)一文中首次提出了具有交互图形显示、力反馈（force feedback）设备及声音提示的虚拟现实系统的基本思想：终极显示通过计算机技术控制虚拟空间内的所有事物，空间内的一切事物都是可以感知的。若要对真实世界进行计算机模拟，除视觉外，系统还需要提供尽可能多的感官通道，如听觉、味觉、嗅觉、触觉等。显示内容应随着用户视线的改变而及时更新，用户可以通过手等身体部位与虚拟世界进行交互。除了以上提到的能为用户提供逼真感受的技术外，该文还指出计算机技术可以生成真实世界里不存在的景象，例如透明化操作可以生成人们肉眼无法看到的固体透视现象。在相应技术的支持下，虚拟现实技术可以使爱丽丝漫游的仙境变为现实。该论文被公认为虚拟现实发展史上的里程碑，因此Ivan E. Sutherland被称为虚拟现实技术之父。
1967年，美国北卡罗来纳大学的“Grup计划”开展了力反馈系统的研究。该设备将物理压力通过接口传给用户，形成一种仿真力的感受。
1968年，Ivan E. Sutherland成功研制出了世界上公认的第一台头盔式立体显示器(helmet mounted display，HMD)［5］。该设备提供立体图像和力反馈系统，但由于太重，只能悬挂在天花板上使用。
1973年，Myron Krueger提出了artificial reality(人工现实)的概念。
1977年，麻省理工学院(MIT)研发了世界上第一代多媒体和虚拟现实系统Aspen Movie Map。该系统实现了科罗拉多州Aspen市的虚拟漫游，能看到冬季和秋季不同的景色，还可以在部分建筑物内部进行漫游。同年，在Dan Sandin、Tom DeFanti和Rich Sayre的共同努力下，世界上第一个数据手套Sayre Glove诞生了。该设备利用检测器测量因手部运动而产生的光纤变形，从而检测出手指的弯曲程度。
1.2.2虚拟现实技术的初步发展阶段
20世纪80年代是虚拟现实技术的初步发展阶段，一些基本概念开始成形，很多早期的应用系统也陆续出现。
20世纪80年代初，考虑到训练设备昂贵、实战训练危险等因素，美国国防高级研究计划局(DARPA)主持开发了实时战场仿真系统SIMNET(simulator networking)［6］。该系统将物理位置不同的军事设备和用户通过网络相连，进行分布式多用户远程虚拟战场训练。
从20世纪80年代开始，美国国家航空航天局(NASA)和美国国防部开始了虚拟现实领域的一系列研究，取得了很多重要的研究成果。
1984年，NASA Ames研究中心(ARC)虚拟行星探测实验室在火星探测器发回数据的基础上，利用虚拟视觉显示器构造出了火星表面的虚拟世界。在随后的虚拟交互环境工作站项目VIEW(virtual interactive environment workstation)中，该小组研发出基于多传感器的个人仿真及遥控设备，用户可以通过手势或语音控制虚拟环境。
20世纪80年代中期，Myron Krueger创建了VIDEOPLACE虚拟现实实验室，通过投影仪、摄像头、显示器等硬件设备创建一个环绕用户的交互环境。该环境可迅速对用户行为做出反应，并支持不同房间内工作人员的虚拟交互。
1986年，Furness提出了虚拟工作站(virtual crew station)的概念。Virtual Environment Display System(虚拟环境显示系统)［7］一文提出了基于多传感器的交互显示环境。用户可在虚拟环境中自由漫游，并和其中的事物进行交互。
1987年，Foley在Interfaces for Advanced Computing［8］(先进计算接口)一文中讨论了下一代超级计算机在支持人工现实和人机交互方面的重要作用。
1989年，美国VPL公司创始人之一的Jaron Lanier提出了virtual reality一词。
1.2.3虚拟现实技术的高速发展阶段
20世纪90年代开始，计算机软硬件技术的不断进步迅速推动了虚拟现实技术的发展，各种新颖的输入/输出设备不断涌现，大量应用系统也陆续投入使用。
1993年，波音公司在一个由数百台工作站组成的虚拟世界中设计出了由300万个零部件组成的波音777飞机。
1996年，世界上第一个虚拟现实技术博览会在伦敦开幕。全世界范围内的与会者在Internet上访问虚拟展厅和会场，从不同角度和距离浏览展品。
1996年，世界上第一个虚拟现实环球网在英国投入运行。用户可以通过Internet虚拟漫游一个拥有超市、图书馆、大学等设施的超级城市。
虚拟现实技术是信息处理技术继文字处理后的又一次飞跃，有很高的科研价值和实用意义，可以广泛用于教育、设计、军事、娱乐等众多领域。
1.3虚拟现实系统的组成
典型的虚拟现实系统由计算机、输入/输出设备、应用软件和虚拟环境数据库组成。
（1）计算机。计算机是整个虚拟现实系统的核心，负责虚拟世界的生成、各种应用软件的装载和运行等。虚拟现实系统计算量大，对计算机性能有很高的要求。随着处理器、图像显示技术和数据通信技术的进步，出现了处理速度快、精度高的计算机系统，通常可分为个人计算机、图形工作站及超级计算机。
（2）输入/输出设备。为了满足用户的自然交互需求，虚拟现实系统中一般没有配置键盘、鼠标等传统交互设备，而是使用特殊的输入/输出设备以获取实时用户需求并做出相应反馈。常用的交互设备有三维鼠标、数据手套、力反馈系统、头盔式显示器等。
（3）应用软件。虚拟现实系统中的应用软件主要负责人机交互功能，确保用户和虚拟世界的自然交互，具体任务包括虚拟环境的创建、立体语音合成、空间定位等。
（4）虚拟环境数据库。虚拟环境数据库主要存储虚拟世界中所有事物的相关信息，如虚拟物体的几何模型、物理模型、实时捕捉到的相关参数等。通常系统只加载用户可见部分，其余数据保存在磁盘上，待需要时再加载至内存。
在一个典型的虚拟现实系统中，用户使用的交互设备有头盔式显示器、耳机、话筒、数据手套等。首先由计算机生成一个虚拟世界，该虚拟世界通过头盔式显示器加以立体显示。激活各种输入设备后，用户可以通过肢体运动、说话等方式与虚拟世界进行交互，计算机根据传感器捕捉到的用户交互数据对虚拟场景进行更新，并将反馈信息传给相应的输出设备，从而使用户得到多感官通道上的反馈效果。例如，三维跟踪系统根据用户头部的移动情况实时更新显示场景，基于手势的交互系统根据识别到的用户手势实现相应物体的抓取效果。
1.4虚拟现实技术的特性
在The Metaphysics of Virtual Reality一书中， Michael Heim提出了虚拟现实的7大特性［9］：仿真(simulation)、交互(interaction)、人工(artificiality)、沉浸感(immersion)、 远程监控(telepresence)、体感沉浸(fullbody immersion)和网络通信(network communication)。
虚拟现实系统允许用户和虚拟世界进行自然交互，通过视觉、听觉、触觉、嗅觉等多感官通道的反馈令用户产生身临其境的感受。因此交互性和沉浸感是虚拟现实系统的两大基本特性。虚拟现实系统为设计、教育、医疗、军事等诸多领域提供了解决方案。这些应用方案的可用性很大程度上取决于使用者的想象力，因此想象力也是虚拟现实系统的一大特性。美国科学家G. Burdea和P. Coiffet提出了3I特性［10］(图1.2)，认为交互性、沉浸感和想象力是虚拟现实技

　　21世纪以来，虚拟现实技术得到了高速的发展，这门学科涉及计算机图形学、多媒体技术、传感技术、人工智能等多个领域，具有很强的交叉性。虚拟现实技术被认为是21世纪发展最为迅速的、对人们的工作生活有着重要影响的计算机技术之一，在教育、医疗、娱乐、军事、建筑、规划等众多领域中有着非常广泛的应用前景。
　　《虚拟现实技术及应用》首先系统介绍虚拟现实技术的概念、发展、软硬件平台等基础知识，然后详细介绍了虚拟现实建模软件3dsMax的使用方法，内容涵盖几何体建模、二维图形建模、材质和贴图、烘焙、灯光和摄影机等基本功能。最后介绍虚拟现实平台软件VRP，主要讨论如何从3dsMax中导出虚拟场景并在VRP中对其进行相机设置、碰撞检测、骨骼动画、环境特效、3D音效、灯光、粒子效果、全屏特效等操作。
　　通过《虚拟现实技术及应用》的学习，读者可以了解虚拟现实的基本概念和知识，同时培养基本的3dsMax建模技能和VRP虚拟现实平台操作技能。
　　《虚拟现实技术及应用》可以作为计算机及相关专业的本科、研究生教材，也可以供相关专业领域技术人员参考阅读。

第1章 虚拟现实技术概论
1.1 虚拟现实技术的定义
1.2 虚拟现实技术的发展历史
1.2.1 虚拟现实思想的产生
1.2.2 虚拟现实技术的初步发展阶段
1.2.3 虚拟现实技术的高速发展阶段
1.3 虚拟现实系统的组成
1.4 虚拟现实技术的特性
1.5 虚拟现实系统的分类
1.5.1 桌面式虚拟现实系统
1.5.2 沉浸式虚拟现实系统
1.5.3 增强式虚拟现实系统
1.5.4 分布式虚拟现实系统
1.6 虚拟现实技术的发展现状
1.6.1 国外研究现状
1.6.2 国内研究现状
1.6.3 存在问题及发展方向
1.7 虚拟现实技术的应用
1.7.1 教育培训
1.7.2 设计规划
1.7.3 文化娱乐
习题
参考文献

第2章 虚拟现实系统的硬件设备
2.1 虚拟现实系统的输入设备
2.1.1 数据手套
2.1.2 数据衣
2.1.3 三维鼠标
2.1.4 三维扫描仪
2.1.5 三维定位跟踪设备
2.1.6 眼动仪
2.2 虚拟现实系统的输出设备
2.2.1 视觉感知设备
2.2.2 听觉感知设备
2.2.3 触觉感知设备
2.2.4 其他输出设备
习题
参考文献

第3章 虚拟现实系统的相关技术
3.1 三维建模技术
3.1.1 几何建模技术
3.1.2 行为建模技术
3.2 视觉实时绘制技术
3.2.1 真实感绘制技术
3.2.2 实时动态绘制技术
3.3 三维虚拟声音技术
3.3.1 三维虚拟声音的特点
3.3.2 头部相关传递函数
3.3.3 语音识别技术
3.3.4 语音合成技术
3.4 物理仿真技术
3.4.1 数学建模
3.4.2 碰撞检测
3.5 人机交互技术
3.5.1 基于手势的交互
3.5.2 实物用户界面
3.5.3 自然用户界面
习题
参考文献

第4章 虚拟现实系统的相关软件
4.1 凡何建模软件
4.1.1 3ds Max
4.1.2 Mava
4.1.3 Mult1gen Creator
4.1.4 Lightwave
4.2 虚拟现实基础图形库
4.2.1 Open GL
4.2.2 Direct3D
4.3 虚拟现实三维图形引擎
4.3.1 Open Inventor
4.3.2 OpenSceneGraph
4.3.3 OGRE
4.4 虚拟现实平台软件
4.4.1 仿真引擎
4.4.2 3D游戏引擎
4.5 虚拟现实的网络规范语言
4.5.1 VRML/X3D
4.5.2 Cult3D
4.5.3 Java3D
习题
参考文献

第5章 虚拟现实建模软件3dsMax
5.1 主界面简介
5.1.1 菜单栏
5.1.2 工具栏
5.1.3 视图区
5.1.4 视图控制区
5.1.5 命令面板
5.1.6 动画控制区
5.1.7 状态栏
5.2 3dsMax文件操作
5.3 几何体建模
5.3.1 标准几何体建模
5.3.2 扩展几何体建模
5.3.3 系统自带模塑
5.4 二维图形建模
5.4.1 二维图形的编辑和修改
5.4.2 Extrude
5.4.3 Lathe
5.4.4 Bevel
5.4.5 Bevel Profile
5.4.6 Loft
5.5 材质和贴图
5.5.1 材质编辑器
5.5.2 贴图坐标
5.5.3 复合材质与贴图
5.6 贴图烘焙
5.7 灯光和摄影机
习题

第6章 虚拟现实仿真平台软件VRP
6.1 VRP界面
6.2 VRP-for-Max导m插件安装
6.3 文件操作
6.3.1 打开文件
6.3.2 保存文件
6.3.3 物体的导入／导出
6.3.4 制作可执行的exe文件
6.3.5 制作可网络发布的vrp1e文件
6.4 物体操作
6.5 物体编辑
6.6 相机操作
6.6.1 行走相机
6.6.2 飞行相机
6.6.3 绕物旋转相机
6.6.4 角色控制相机
6.6.5 跟随相机
6.6.6 定点观察相机
6.6.7 动画相机
6.6.8 多台相机的控制
6.7 碰撞检测
6.8 骨骼动面
6.9 环境特效
6.9.1 天空盒
6.9.2 雾效
6.9.3 太阳
6.10 其他功能
6.10.1 3D音效
6.10.2 灯光
6.10.3 粒子效果
6.10.4 特效
习题