第1章:课程绪论

返回

引言

科学技术迅速发展引发新技术革命,新兴的技术革命让当今世界发生深刻变化。我们处于新技术革命的浪潮之中就需要以更新的理念和以更新的技术继续认识客观世界,理解客观事物,研究客观规律。

我们在认识、理解、研究客观世界的同时必须借助各种工具改造世界,这是人类区别于其他动物的重要特征之一。

其中用来增强、延伸、扩展自身的感官、肢体和大脑功能的计算机技术、信息技术和人工智能技术随着新技术革命得以快速发展,起到增强人认识、理解、研究、改造客观世界的作用。因此,我们适应计算机技术的方式很大程度上制约我们恩施、理解、研究、改造客观世界的能力。

人适应计算机的方式称为人机交互。人机交互方式由早期的数据交互逐步升级为图像交互,在图像交互的基础上又实现多媒体交互,进而实现通过手势、语音、动作、意识的自然交互,甚至是逐步实现人机融合,达到以人为本、人机协同的效果,逐步将人适应计算机转变为让计算机适应人。

由此,基于计算机图形技术并融合多媒体技术、虚拟仿真技术、物联网技术、传感器技术、人工智能技术的扩展现实技术迅速崛起,打破人机交互的隔阂,把人类的感知时空与数据时空进行连接,形成人机融合的交互方式。

扩展现实技术是虚拟现实技术、增强现实技术、混合现实技术的统称,并在这些技术的基础上诞生出数字孪生、元宇宙等概念。这些概念之间既有联系又有区别。

虚拟现实(Virtual Reality,VR)

美国VPL公司Jaron Lanier于20世纪80年代首次提出Virtual Reality一词,英文简写为VR,中文翻译为虚拟现实。

虚拟现实必须通过一系列技术来实现,统称为虚拟现实技术,分为有广义和狭义的定义。

广义的虚拟现实技术是指通过某种技术生成三维空间,操作者可以在三维空间中进行操作、干预或产生影响,三维空间提供五感(视觉、听觉、嗅觉、味觉、触觉)的反馈给操作者,使操作者即时感知三维世界的存在。

按照广义定义,虚拟现实技术的关键是把人的五种感官通过某种方式与三维空间进行耦合衔接。耦合度越高,虚拟现实效果越好。但是,以目前的技术水平而言,暂时做不到用计算机之外的技术实现,因此产生通过计算机技术实现虚拟现实的狭义定义。

狭义虚拟现实技术是指通过计算机生成三维虚拟空间,采用输入设备将操作者的各种交互、操作传输到三维虚拟空间中并对其状态进行干预或产生影响,操作者在三维虚拟空间中进行与真实空间类似的操作,计算机根据输入结果产生反馈且输出设备提供五感可以感知的效果反馈给操作者,使操作者即时感知三维虚拟世界。

这个过程可以是个人进行,也可以多人通过计算机网络互联进行,具有沉浸性、交互性和构想性3个特征,同时通过人工智能、心理学等学科来增加虚拟现实的整体效果。

虚拟现实侧重点在于创造虚拟空间,隔离真实空间,通过各种技术让虚拟空间达到真是空间的效果,让参与者分不清真实空间与虚拟空间。

虚拟现实系统主要由计算机、可以构建虚拟空间的软件、输入设备、输出设备组成,分为桌面式、沉浸式、增强现实式和分布式四大类。

桌面式虚拟现实系统利用个人计算机和低端工作站进行,将计算机屏幕作为操作者观察虚拟空间的窗口,通过鼠标、键盘、操作杆等输入设备与虚拟空间交互。 桌面式系统的优点是成本低,容易实现;缺点是难以实现完全沉浸感,体验感差。多数情况下桌面式系统称为虚拟仿真系统。

沉浸式虚拟现实系统利用头戴显示器进行,将操作者的视觉听觉引入虚拟空间,通过交互设备和输出设备让操作者产生沉浸感,在虚拟空间中完成各种交互。 沉浸式系统的优点是可以实现沉浸感,体验较好;缺点是成本高。

增强现实式虚拟现实系统不仅可以对真实空间进行感知,还利用三维技术构建虚拟空间,实现真实空间与虚拟空间叠加,虚拟空间对真实空间进行增强。这一技术成为独立分支,称为增强现实技术。 增强现实式虚拟现实系统的优点是真实空间与虚拟空间并存且增强真实世界效果;缺点是难以实现与真实空间完全融合。

分布式虚拟现实系统利用计算机网络技术将多个操作者连接,进入同一个虚拟空间中,共同体验虚拟经历,达到协同操作的目的,将虚拟现实技术提升到更高的境界。 分布式系统的优点是多人协同;缺点是成本高。

增强现实(Agumented Reality,AR)

增强现实是将原本在现实空间范围内难以进行的数据、信息在计算机技术的基础上叠加显示,实现将真实空间和虚拟空间的数据、信息、内容叠加、融合共同输出的技术,将虚拟空间数据、内容以人类感官可以感知的方式在真实空间中叠加输出,让真实空间和虚拟空间融合之后在同一空间中并存,实现超越现实效果的目的。增强现实也需要通过一系列技术来实现,统称为增强现实技术。

增强现实技术是通过计算机视觉技术让操作者可以看到真实空间,再采用计算机图形技术创建虚拟空间,运用多媒体、实时跟踪及注册、智能交互、传感器等多种技术手段将三维虚拟物体和信息叠加到真实空间中,主要用来增强真实空间效果,实现对真实世界的增强。

增强现实的关键技术是图像获取、图像识别和三维虚拟空间与真实空间的配准。配准都越高,增强现实效果越好。

增强现实技术主要使用多媒体和三维成像技术以及配准融合等技术,不仅能够有效体现出真实空间的内容,也能将虚拟空间的数据、内容显示出来,两者相互补充和叠加。在视觉化增强现实中,操作者在头盔显示器的基础上促使真实空间与虚拟空间叠加,所提供的数据、内容和真实空间的数据、内容存在明显的不同。 增强现实侧重点在于用虚拟空间内容对真实空间进行增强,达到融合真实与虚拟的效果。

混合现实MR(Mixed Reality,MR)

混合现实是在增强现实的基础上进一步发展而来,运用多种技术将虚拟空间叠加到真实空间中并有机融合起来,将虚拟空间的一切内容与真实世界混合在一起共同显示,将真实空间中不存在的内容以建设性或破坏性的方式构建在真实空间中以展现、衔接和融合,实现与真实空间内容同样的效果。

混合现实的主要价值在于将虚拟空间融合到操作者对现实空间的感知中,让操作者对真实空间形成持续感知的同时也能感知到虚拟空间,体现虚实融合、混合叠加、无缝衔接的理念,而不是像增强现实那样简单地显示数据、叠加信息,更多关注的是三维空间与真实空间之间的无缝衔接和自然交互,更注重以自然、本能的方式操作虚拟空间中的内容,跨越多种感官模式,至少在视觉上难分彼此,让操作者分不清真实世界与虚拟世界的界限。

混合现实技术侧重于物理实体与数字对象共存并相互作用,营造虚拟世界与真实世界的无痕混合,强调真实空间与虚拟空间共存并实时相互作用。混合现实技术的发展将改变人类观察世界的方式,从而引发认知的革命。

扩展现实(Extended Reality,XR)

虚拟现实技术、增强现实技术、混合现实技术之间的共同点在于均采用计算机图形技术创建虚拟空间的数据、内容,区别在于虚拟现实不能看到真实空间,看到的完全是虚拟空间;增强现实可以看到真实空间,虚拟空间对真实空间进行叠加和增强;混合现实不仅可以看到真实空间且实现真实空间与虚拟空间的有机融合,互相混合。

三者所采用的技术没有本质区别且相互关联、相互融合、相互促进,因此将虚拟现实技术、增强现实技术、混合现实技术统称为扩展现实技术。

随着动作捕捉、可穿戴设备、三维显示等技术在扩展现实技术中的深入应用,给予扩展现实技术接近真实世界的输出效果,从而促进扩展现实的发展。扩展现实技术和数字技术通过“人在回路中”(Human-in-the-Loop)的方式实现将人融入到虚拟世界中并实现互动。

扩展现实的侧重点在于虚拟空间与真实空间的相互作用,相互扩展关系,通过三维空间达到扩展真实空间的目的。

数字孪生(Digital Twins)

基于扩展现实技术,可以在虚拟空间中构建三维模型与真实空间的物理实体相互映射,同时描述虚拟物体与物理实体全生命周期的运行轨迹,强调真实空间与虚拟空间共存共生,协同一致,实现真实空间在虚拟空间中的映射,这就是数字孪生体。通过虚拟空间仿真还原并影响真实空间,强调的是在虚拟空间中的数字孪生体与真实空间物体的映射、还原、迭代,这就是数字孪生技术。

数字孪生充分利用物理实体、传感器、运行历史等数据,用计算机信息技术集成多学科多尺度的仿真过程来还原真实空间的必要元素的组成、特征、功能和性能,对物理实体的模型、数据进行数字化定义和建模,在计算机虚拟空间存在的数字孪生体是与物理实体完全等价的信息模型,作为虚拟空间中对真实空间实体的镜像,可以基于数字孪生体对物理实体进行仿真分析和优化,反映相对应物理实体的全生命周期过程,营造出与真实空间孪生的数字空间并与相互影响、互相作用,是技术、过程、方法的升华。

数字孪生技术侧重于利用计算机技术生成的虚拟空间来还原真实空间的物理实体和数据、信息。

数字孪生与扩展现实的区别是数字孪生对真实空间中的实体进行建模,继而转化为虚拟空间中的数字孪生体。数字孪生体实时获取真实空间中物体、环境的数据并随着数据动态改变,而扩展现实可以是完全构想出来的虚拟空间,也可以不去获取真实空间的数据。

数字孪生思想来自于信息镜像模型(Information Mirroring Model),而后演化为“数字孪生”的概念,也称为数字双胞胎和数字化映射。

企业在实施基于模型的系统工程(MBSE)的过程中产生大量的数据和数学的模型,这些模型为数字孪生的发展奠定基础。

进入21世纪,美国和德国相继提出Cyber-Physical System(信息-物理系统,CPS)来作为先进制造业的核心支撑技术,目标就是实现真实空间和虚拟空间的交互融合、孪生并存,再通过大数据、人工智能等技术在虚拟空间中进行仿真、分析和预测,以最优的结果驱动真实空间实体运行,因此数字孪生更好的诠释信息-物理系统,成为实现信息-物理系统的最佳技术。

数字孪生的侧重点在于虚拟空间对真实空间的等价映射。

元宇宙(Metaverse)

进入21世纪,多中技术融合为标志的科技革命席卷全球,以云计算、大数据、物联网、人工智能、区块链等为代表的技术加速发展,催生全新的技术、形态和模式。元宇宙作为多技术融合的代表,增强工业、商业、教育等行业的创新,成为技术革命和产业变革的重要驱动力量。

推动元宇宙创新成为我国第四次工业革命的发展机遇,促进新技术与实体经济融合创新,推动传统产业升级,培育新动能,深刻影响生产方式、服务方式、生活方式和发展模式,助力数字中国建设,推动经济高质量发展。

元宇宙指的是利用科技手段进行链接与创造的与现实世界映射与交互的虚拟世界,产生具备新型社会体系的数字生活空间。

元宇宙侧重于数字空间与真实空间统一。

扩展现实技术与数字孪生技术促进元宇宙的发展,实现虚实共生的发展目标,也为元宇宙在诸多领域的深入应用提供可能,使得元宇宙技术在不同行业典型场景中应用并持续创新和快速发展。

元宇宙依托基础设施、模型构建、算法开发、行业应用、人机交互等前沿技术,将现实的物理世界与虚拟的数据世界融合,在虚拟世界中对现实世界各个应用场景进行仿真,实现物理设备、工作流程的优化,使元宇宙成为推动实体经济数字化的新型工具。

其中,基础设施层为元宇宙提供虚实结合所需的数据采集和处理能力、计算能力、通讯能力等必备基础部分,其中包括云计算、边缘计算和GPU协同渲染等处理海量数据的算力基础。

模型构建层是元宇宙中将数据更好呈现的基础部分,其中集成建模仿真、模型求解等构建和展现虚拟空间必须的模型开发与数据处理能力。

算法开发层是元宇宙中把数据变成数学模型、知识的部分,其中集成人工智能、数字人等技术,为元宇宙提高智能水平,为更好地实现虚实融合提供必备资源。

行业应用层是元宇宙中实现核心能力优化、生产保证能力提升和社会资源协作的应用基础,集成面向业务运营管理、优化改进、赋能提升等综合场景解决方案。

人机交互层是元宇宙中支撑操作者通过人机交互获得更贴近生产实际的交互体验、实现人机物三元融合的部分,是元宇宙与操作者者直接接触、实现交互的部分,通过集成扩展现实、全息显示等技术,为使用者提供更加接近真实空间、更加逼真的多通道展示和反馈渠道,完成真实空间和虚拟空间之间的交互与融合。