智能虚拟环境 Virtual & Reality

智能虚拟环境是虚拟现实和人工智能/人工生命两种技术的结合。智能虚拟环境是一个交叉学科研究课题,它涉及多个不同学科,包括计算机图形、人工智能/人工生命、机器人等。

1.1虚拟环境的研究背景
虚拟现实(VR)技术近年来在许多学科取得了前所未有的研究成果,推进了军事、医学、航空、协同设计等研究领域的发展,比如军事仿真、虚拟手术、大型体育场馆协同设计等等。同时,虚拟现实技术在教育、娱乐、商业等社会生活领域也得到了广泛的应用和开发,比如远程教育、游戏仿真、虚拟购物等等。

虚拟现实指通过计算机生成的给人以多种感官刺激的虚拟环境(世界),是一种高级的人机交互系统,也被称为人工现实A(R)。虚拟环境V(E),指人处在一个由计算机模拟产生的3D环境(包括声音、图像、力反馈等等)中,而获得如同在相同的真实世界里的感觉,通过对人类的感觉器官产生人为的刺激信号,比如听觉、视觉、触觉等刺激信号,而使人获得在相似真实世界中才能取得的真实感受。

Grigoer指出,VR具有三个最突出的特征,也就是VR的三“I”特性,因而可以用此来区别相邻技术,如多媒体技术、科学计算可视化技术等。三个特征包括交互、沉浸感和构想性(Grigoer1997)。
(1)交互:参与者可以通过使用专用设备,用人类的自然技能实现模拟环境中的物体,且用户有抓取东西的感觉,还可以感觉到物体的重量(其实这时手里没有实物),视场中被抓起的物体还应立刻随着手的移动而移动。
(2)沉浸感:用户在计算机所创造的三维虚拟环境中处于一种“全身心投入”的感觉状态,有身临其境的感觉。
(3)构想性:构建那些现实中不存在或不易观察到而只出现在人们想象中的情景。

虚拟环境技术涉及到构建虚拟现实系统的多种技术,涉及到多个学科领域的研究。在计算机人机界面技术方面,头盔式显示装置、数据手套、数据衣以及其它传感装置等等是虚拟环境技术使用的一些典型的硬件设备。虚拟环境技术还涉及到人的行为学的研究,如听觉、视觉等的行为建模、人类观察世界、与世界交互方式的建模等等。此外还涉及动画、建模、人机交互、人工智能、数据库等等不同计算机领域的技术。

虚拟环境依据不同的分类依据,具有有不同的分类方法。根据对系统真实感、交互性、沉浸感、实时性的不同要求,系统可分为:桌面VE系统、沉浸式VE系统和增强VE系统。桌面VE系统利用个人计算机和工作站去进行仿真,对沉浸感要求不高,但因为它的成本较低,因此仍然比较普及,通常用于城市规划或工程CAD。沉浸式VE系统主要依赖于各种硬件,使用户完全投入一个虚拟环境而看不到真实世界。当用户戴上一个头盔式显示器后,他周围的现实环境就被有效地屏蔽掉,使得用户有一种被虚拟环境包围的感觉。典型应用有飞行训练、车辆驾驶训练等等。增强VE系统允许用户看见现实环境中的物体,同时又把虚拟环境的图形叠加在真实的物体上。穿透型头戴式显示器可将计算机产生的图形和用户实际的即时环境重叠在一起。

根据产生的虚拟世界的真实性,虚拟环境又分为:真实世界的仿真和虚拟世界的仿真。前者比如:建筑物漫游、军事演习仿真、医疗手术仿真等等;后者如网络游戏、虚拟社区等等。

根据虚拟环境中参与人数的多少,虚拟环境又分为单用户虚拟环境系统和多用户虚拟环境系统。单用户虚拟环境系统,只有一个用户与虚拟环境进行交互,而多用户虚拟环境系统,有两个或更多的用户群与虚拟环境进行交互,也称之为多用户分布式虚拟环境。

分布式虚拟环境(DVE),也称为连网的虚拟环境,是网络技术与虚拟环境技术结合的产物,也是虚拟环境技术发展的必然结果。目前分布式虚拟环境系统采用三个国际标准:分布式交互仿真(DSI)、高层体系结构(HLA)和虚拟现实建模语言(VRML)。DSI是一套允许处在异类和异地的用户之间进行交互的通讯协议,HLA定义了大规模分布仿真的标准体系结构,而VRML通过在WWW浏览器中嵌入3D世界扩展了虚拟环境技术LShne1999。

虚拟环境主要用于模仿真实世界中的场景,因此场景中物体的属性也是根据物理世界中的相应物体决定的,就现在的VE系统而言,大多数都采用静态的三维场景,场景中的物体是静态的、被动的、无生命的。然而,真实世界中很多对象是有生命的,为了更逼真地模仿真实世界,使得参加的用户具有沉浸感,迫切需要在虚拟世界中加入有生命的对象(虚拟人或动物)。在VE系统中,用户通常用一个代表他的化身(vaatar,称为用户化身)来表示,用户化身与场景中对象进行交互。在有多个用户的情况下,多个用户化身之间也会进行交互和通讯。

场景中有生命的对象和用户化身的活动都应具有一定的智能性,从而形成为一个智能虚拟环境。IVE可以建立在单用户或多用户虚拟环境系统基础上。

这篇文章浅谈AR和VR的基本介绍、原理、区分、发展历史、平台以及应用。

Virtual Reality & Augmented Reality(虚拟现实与增强现实)

VR和AR是近几年科技界一个非常被关注的开发项目, 从Google, Facebook, Microsoft,到游戏界甚至建筑产业,VR和AR技术都带来巨大的变化。

So What Is Augmented Reality?Augmented Reality是将虚拟现实和现实生活的融合。开发人员将应用程序中创建的图像与在现实世界中的内容融合在一起,使用者能够与在现实世界中的虚拟内容进行交互,并能够在两者之间进行区分。AR的技术现在比较成熟,在smartphone 上已经有非常多通过AR来操作的软件

Virtual Reality则是尝试建立一个用户可以互动的虚拟世界,这个虚拟世界中,用户会很难分辨出哪些是真实的。此外,VR通常是由VR头盔或护目镜类, 比如现在最常听到的Oculus Rift。虽然VR的技术在这几年才被广泛使用, 但其实VR的技术在几十年前就已经在开发,只是受当时科技与用户群的限制,很多的产品都被搁浅。 VR主要应用于游戏产业中,从90年代的任天堂,到现在市场上非常多的VR游戏。另外很多科幻小说和电影中也有提到过类似的内容,其中最有名的就是Matrix

OCULUS RIFT LAUNCH

区分
其实大部分人对VR和AR的定义并不是非常清楚,也很难区分它们。虽然这两个系统本质的原理不同,但是目的都是将使用者immsere到一个虚拟构造的空间中。对于AR,用户仍然保持与现实世界联系,而与周围的虚拟对象进行交互。但是在VR中,用户从现实世界隔离,完全immerse在另外的空间中(完全人工制造的虚拟世界)。按照现在的情况,VR可能适用于视频游戏和社交网络在虚拟环境中,如现在市面上非常多的games都可以支持VR的功能。
目前来看,AR在市场上的应用远远超过VR。因为市场上已经有非常多AR的产品,包括我们的手机上也已经有非常多的AR based产品被开发或者正在开发。AR的硬件设施也正处在上升期,包括Google Glass , 另外微软公司前不久也投资了AR硬件系统。

而VR还处在开发期,虽然已经有非常多的游戏开发中加入了VR的元素, 但是它离具有足够的社会影响力还有一段距离,而Oculus Rift硬件平台,使得VR的技术在近几年中变得更加accessible。

历史
虽然VR和AR近几年才正式进入consumer market,却也得到越来越多投资者的关注。其实跟3D打印一样,VR和AR的技术早在几十年前就已经进入开发阶段, 只因为技术和外加市场并不够成熟等因素导致这些技术并没有真正进入消费者市场。我认为想要真正了解一个技术的潜力与发展空间, 了解它的发展历史,并且从中了解其成功与失败的原因是非常重要的。

Morton Heilig 算是虚拟现实的第一个thought leader。 1957年,Heilig发明了第一台VR功能的机器。Heilig想要创造“未来电影”,其实与我们现在接触到的IMAX电影非常接近, 使用者可以从中感觉到不同的 sense 加上3D的 image,但后来因为体积过大、造价过于昂贵,第一台VR机器(Sensorama)并没有真正的成功。

sensorama

1965年,美国一位叫Ivan Sutherland的computer scientist发明了“Ultimate Display”,与我们现阶段用到的一些VR和AR硬件非常相似, 但这个装置在用户界面和图面都处于原始阶段。 Sutherland第一次在装置上使用了头部跟踪的技术,也是现在非常多headset的灵感来源。不过由于当时技术还不够成熟,在使用过程中并不是非常顺畅。

vr_goggles

1995年 ,任天堂推出的Virtual Boy系统,是第一个比较大众化的VR机器,虽然这款游戏系统在不到一年的时间内就被停产。90年代,在VR技术还并不是很成熟的情况下,任天堂的Virtual Boy系统,无论在价格还是使用的舒适度上得到的都是消费者的差评。 随着今天技术的进步,VR这个概念也被越来越多地被使用在游戏开发上。

Virtual_Boy

另外对VR和AR发展非常重要的因素其实是因为好莱坞电影对于VR这个概念的广泛应用,不论是the Matrix 还是 Tron 中,故事都是围绕 the idea of virtual reality展开的,这也打开了消费者对VR和AR的接受度,让观众对新产品的需求快速的增加。
最近几年,VR和AR的发展速度非常之快,整体技术和市场都达到了一个相对成熟的地步,Google, Facebook以及Microsoft,都在这些技术方面投资。

平台
Oculus Rift虽然2016年才会上市,不过已经可以算是VR中最具影响力的一个平台。Oculus最初是一个在美国众筹网站(Kickstarter)上的产品,集资250万美金。经过多轮的测试期,现在已经有非常多的软件使用Oculus Rift来develop。 VR现今主要的用途还是gaming industry, Oculus Rift作为VR的主要产品也不例外,但是也很多有潜力的东西可以develop,比如电影甚至social的软件。

Google同时也推出了一款自己的VR hardware,其实就是一个托手机的架子。Android的系统上已经有非常多VR的软件被开发,所以Google Cardboard其实就是能将手机绑在眼前的一个纸盒子。相对Oculus Rift来说,Google Cardboard在造价上便宜很多,因为技术方面的东西都是在手机上完成,并且Google已经release 了Google Cardboard的kit,以后大家可以免费下载。

26

有些建筑事务所或者animation的公司,已经开始利用Google Cardboard外加Adroid VR的技术来做渲染或者animation。 相对传统方式的渲染来说,Oculus Rift不论是在成本还是方便程度上都会好很多,而且通过VR的方式更能表达空间感。

另外还有几个VR的平台载体,比如Valve公司开发的,类似Oculus Rift的一个headset。 还有喜欢户外运动的朋友都知道的Go Pro,现在也有非常多的人使用Go Pro 360来制作VR compatible的video或者image.

应用

之前提到的都是VR的一些平台,then what about augmented reality. 事实上大多数AR的application非常简单,大部分目前只能手机develop,并不需要任何的hardware, Google Glass算是少数需要hardware的例子之一。

I think as designers, we really have to understand all these technologies, and realize their potentials early and apply them to our design strategies or presentation strategies. And one way to help that is to be aware of how these technologies are used in other fields.

VR目前主要是应用于游戏中,在市场上有非常多的VR based video games, 这些技术也已经相对成熟了,我就不再一一例举。我对游戏方面并没有非常深入的研究,而对开发游戏有兴趣的同学可以自己去做一下research。

现在已经有非常多的公司通过VR和Google Cardboard来做presentation 或者animation。 Vray for 3Ds max已经推出了支持VR的渲染engine,所以设计师们以后做 presentation , you guys can look into presenting in VR。 当然这只是VR跨入设计界的一种方式,在未来的几年内会有更多更先进的方便设计师使用的东西进入市场。

iPad有一个叫Smart Reality的app,通过先将physical drawing 于3D model 的信息输入app中,把相机对准一个打印出来的平面图, ipad 或者其他的tablet上就会显示出3D的模型。对于看不太懂drawing 的client来说,真的非常方便。

另外,YouTube和ikea等公司也都涉足开发一些AR和VR的应用。 比如刚刚提到Go Pro的360度camera, YouTube现在也支持上传VR的视频,这些视频变可以通过Google Cardboard之类的来观看。ikea开发的AR软件, 可以让用户将3D的ikea 软件摆放在自己的房间中。

The reason why I am showing all these, is not that tell everyone to use all these applications, but rather to present the potentials of these technologies. And as designers we should all collectively think what should we do as designers to utilize the power of all these technologies, and make our work more fluent and efficient.

Google的一个team 正在develop “Project Tango”软件,不同于现在市场上大部分AR的app ,它可以在室内较为精确的map出空间,这对于建筑是一个非常有潜力的app。

mapping-1280x850 tangograb

Project Tango通过Google的track tablet的3D movement,可以精确的map出周边的3D模型。因此,Project Tango的development甚至被运用到NASA的一些project中。

Project Tango的tablet 几个月前正式在google store 发售,在未来的几年中,我们也将会看到越来越多consumer grade的project从Project Tango中发展出来。

Resources
先来讲一下AR的development kit,它其实有点像rhino里的plug in ,或者一个template,来enable 或者一个guide to augmented reality。

三个我觉得非常有意思的并且正在develop的一些技术。Smart Reality是跟建筑相关,其实市面上有非常多的类似软件。 Vis Touch。而Magic Leap是一个比较神秘的AR development,目前没有人特别清楚他们如何执行,但是非常值得关注。

SR1

Smart Reality

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google+ photo

You are commenting using your Google+ account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

w

Connecting to %s