【导读】如今AR/VR的科技风早已吹遍全球各个角落,三星、索尼、HTC等众多手机品牌不甘落后,纷纷加入战局。然而由于技术局限性,这些行业巨头不得不玩跨界,尽管打着手机的品牌,推出的产品多以智能眼镜形式出现。在刚结束的TechWorld2016大会上,沉寂已久的国产品牌联想以不鸣则已,一鸣惊人的姿态发声,推出的全球首款搭载谷歌Tango技术的消费级AR体验智能手机——Phab2pro。
通过支持Tango的PHAB2?Pro,用户可即时启用AR功能,从手机对物理运动做出响应的运动跟踪功能,测量对象和区域之间距离的深度感知,以及区域信息获取能力,该功能使手机能够从以前访问过的位置调用所记录的数据。
Tango是什么
Project Tango是谷歌为实现移动设备位置感应而研发的一系列产品与技术的集合。它源自于Google Advanced Technology and Projects group(ATAP),一个类似于Google X实验室的尖端技术研究部门。跟X实验室不一样是在于它们的项目往往有更短的周期,有明确的产品与上市时间表。Project Tango就是在这样的环境里,在很短的时间和非常有限的人力资源下成功实现技术突破与产品化的。
Tango的核心技术
Tango核心技术主要包括以下三块:
1.运动追踪 Motion Tracking-通过移动设备自带的多种传感器,在不通过外界信号的情况下(例如GPS,WiFi,蓝牙Beacon等),实时获取设备的姿态与位置,追踪设备在三维空间中的运动轨迹。
传统的运动追踪办法可以简单分为两类,一类是靠外界参照系,比如GPS通过计算设备到轨道中不同位置的卫星距离可以判断出设备在地球表面上的具体位置,精度可以到达厘米级别,或者计算手机跟不同基站之间(包括蜂窝网,WiFi网,蓝牙Beacon)的信号衰减来做三角定位法,这样的精度可能从数米到几百米之间。对于室内环境,要么GPS信号接收不到,要么没有庞大的基础设施提供准确的参照系,所以并不是室内移动设备适用的办法。
第二类办法则叫船位推测法(dead reckoning),就是利用物体现有的位置,速度以及运动方向计算未来位置。千百年来人类在没有导航系统之前就是用这样的办法航海与航空的,甚至现在科学家发现许多动物精准的远距离迁移也是因为他们进化出了这种船位推测法的能力。这里面就引入了新的一个概念, 惯性测量单元(Inertial Measurement Unit or IMU)。IMU 包含三轴的陀螺仪与三轴的加速器,用来测量物体的姿态角度和加速度。
dead reckoning在航空里的应用:
我们知道从物体加速度可以积分得出速度,速度再次积分可以算出绝对位置。然而传统消费电子设备里面的IMU受限于成本,精度与采用率都很低,十几秒的两次积分就能累计到骇人的误差,导致位置结果完全不可用。
Tango创新性的采用了鱼眼相机与IMU结合的办法来解决上面提到的这些问题。首先为IMU开发了一套精准的传感器融合算法(Sensor Fusion),保证设备在不同环境和运动状态下还能长时间积累很小的误差,尤其是对姿态角度的计算。鱼眼相机则追踪每一帧视频中出现的特征物,无论是边沿或者角落,然后比较帧与帧之间的图像差别来计算运动变化。由于Tango可以准确的追踪相机姿态,通过加速度估算出帧与帧之间的大概运动,结合图像信号,它能够算出比现有技术精准许多的运动状态,通过一次积分就可以得出设备运动轨迹。这样依然还会有一些积累误差但是已经比传统的办法好了许多倍。
2.环境学习 Area Learning-利用视觉信息记录与引索外界环境,自动矫正环境构建与运动追踪中积累的误差,识别重复环境。
只知道运动轨迹是并不够的,因为设备并不了解它在所处环境中的位置,它也不会记住曾经见过的不同环境,所以Tango的第二项技术环境学习就变的非常有用了。当设备初次进入一个新的环境时,在它不断移动进行运动追踪的同时,它会记录下所见的环境信息。当再次进入熟悉的环境时,设备可以很快的找到自己在这个环境中的位置,并且不断更新和矫正之前记录中不准确或者已经发生变化的地方。
这个功能描述起来很容易,但实施起来则相当的困难,首先设备会对它见到的每一帧提取特征,然后对出现的特征进行保存和引索,再利用一些高效的储存和搜索算法,实时的判断新的一帧是否跟过去曾经看到的环境有相似之处,如果匹配准确的话,设备可以立即利用之前已经收集的环境信息。
因为上一步的运动感应会慢慢的积累一些测量误差,环境学习另外一个重要的功能就是实现位置的矫正。如果设备通过环境匹配确定自己回到了之前曾经到过的某一点,即使运动感应积累的结果说自己在另一点,系统也应该把新的位置矫正过来,因为外界环境一般是恒定不变的而且相对可靠的。
这张插图解释环境学习是如何矫正设备积累的偏移量的。
3.深度感应 Depth Perception-利用自带的深度传感器扫描外界三维环境,构筑三维模型。
Tango设备背面都有特殊的距离感应传感器,用来测量物体到设备的距离与尺寸。目前市面有三种深度感应技术,各有一些利弊,第一代的Tango原型平板采用的是类似第一代Kinect的结构光(Structured Light)技术,而到了第二代的Tango原型手机以及这次发布的量产机型Phab 2 Pro则采用了跟第二代Kinect类似的Time of Flight技术,主要的优势在于不需要红外界发射器与接收器之间保持比较大的距离,很适合做在手机这种长宽非常有限的设备里。
深度感应对于Tango设备来说意义非常大,它提供了详细的环境深度信息,用来构筑三维的环境模型。同时配合运动追踪,它可以告诉用户在空间中的位置,与四周障碍物的距离。这就完全解决了HTC Vive和Oculus头盔需要依靠外界传感器才能判断用户空间位置的问题。
以上这三项技术相互结合,就让设备拥有了以前从未有过的对环境的感应和学习能力。Tango项目同时提供了大量基于安卓和Unity平台的开发工具,方便开发者利用这些独特的功能开发出让人振奋的游戏与应用。
6款基于Tango平台的联想Phab2 Pro手机应用介绍
将于今年9月推出的Phab2 Pro手机应用有30多款,这个数量到年底将会增长到100。今天,我们先来看一下其中6款。
1. Measure It
Measure It的意思是“测量”,也是Tango最主要的功能体现之一,即空间测量和3D渲染能力。这款应该可以精准测量出物体的体积,通过虚拟轮廓显示出具体的长宽高,非常实用,唯一的缺点是对环境亮度有一定要求。也就是说,如果你想去宜家买家具,但不确定它是否能够与家庭空间匹配,只需拿出Tango手机测量一下即可。
2. Raise prototype
Raise prototype是最早的Tango应用之一,是一款增强现实小游戏。你会获得一只蓝色的小狗,可以与其互动,包括扔球、喂食等等,直观地显示了Tango平台的虚拟图层处理能力。
3. Domino World
这是一款有趣的益智类游戏,用户需要根据现实环境创建虚拟的多米诺骨牌阵,再通过巧妙的机关设计(如一个飞机或是恐龙模型),一次性放倒所有骨牌。虽然它不是一款会改变世界的应用,但对于培养用户逻辑能力还是非常有帮助的。
4. Lowe's Vision
Lowe's Vision与Measure It有些相似,同样是一款测量现实环境的应用。它内置了不同的家电产品如烤箱、冰箱等等,用户可以通过摄像头来将它们放置在自己的厨房空间。基本上,这款应用充分展现了Tango在网络购物方面的全新体验,值得期待。
5. PHANTOGEIST
PHANTOGEIST是一款增强现实游戏,你需要使用激光枪消灭不断出现的外星生物。当然,此类游戏早已出现在手机平台中,但Tango具有更精准的空间扫描能力,所以游戏体验更出色一些。预计在未来,大量此类Tango游戏将会出现,当然我们希望它们会更加有趣、游戏形式更丰富。
6. Dinosaurs Among Us
Dinosaurs Among Us是一款教育应用,旨在通过增强现实技术更好地展现恐龙这种古老的物种,恐龙在增强现实空间更加逼真、活泼,并且能够与用户进行一定互动,相对于传统的教科书无疑更加有趣。
Phab2pro手机的面世,不仅打开了手机应用和形态的新格局,同时也给AR/VR的的研究和发展带来了新的方向。未来AR/VR的技术应用不仅仅再局限于视觉体验,更多的会参与到家居、教育、网络购物等更加实用的日常生活中。