Wang Qiwen Leon是Google AR团队的软件工程总监,负责ARCore的机器感知算法项目,例如运动跟踪和深度感知等技术的开发。 加入Google之前,他曾在Microsoft,Facebook和Pinterest担任工程经理。 Leon拥有麻省理工学院的计算机科学学士学位和硕士学位。
首先,王其文强调,AR作为一种视觉沉浸式媒体,可以吸引人们的注意力,是一种体验信息并最终促进用户行为的新方式。 由Google在2018年发布的ARCore是一个AR开发人员平台,提供了简单而强大的工具来为Android和iOS用户创建有效的AR体验。 它已在7亿个设备和数千个应用程序上使用,并且已得到一些更新。
其中,王启文介绍了中国开发人员(包括美图,滴滴和有道儿童词典)如何使用ARCore来改善产品性能和体验。
美图公司使用ARCore的Augmented Faces API(增广面孔API)来构建100多个自拍滤镜。 这是我们可以在BeautyPlus上体验的AR特殊效果。 用户可以拍摄照片和视频以与朋友分享。
增强面部API(Augmented Faces API)从2D图像生成3D网格,该网格可以跟踪嘴巴的运动,眨眼,头部点头和一些复杂的细节。
滴滴的ARCore导航功能可帮助乘客在大型公共区域(如火车站,购物中心和机场)找到驾驶员。 AR路标已添加到Didi地图中。 15%的用户使用AR将其引导到订单驱动程序,而80%的用户给予好评。
优道儿童词典应用程序使用AR帮助孩子以有趣和有吸引力的方式学习新单词。 该应用程序将诸如“三角恐龙”之类的单词与AR中的3D模型进行匹配。 父母可以记录或拍摄AR图像,将来可以用作孩子们的学习材料。
另外,ARCore的新功能如下:
即时放置API(即时放置API)
一般而言,当用户将ar对象放置在空间中时,他需要用手机扫描周围的环境以完成3D表面检测。 但是这个过程会消耗一些时间和精力。 实际上,在大多数情况下,我们不需要知道AR对象的确切3D位置即可正确渲染它。
借助快速放置API和几行代码,开发人员可以允许用户将AR对象锚定到2D图像中,而不必确切知道AR对象在3D中的位置。 如果需要更精确的比例,则可以对3D位置进行三角剖分。
深度API(深度API)
景深API可以从单个RGB相机生成地图。 原理是从不同角度拍摄多张图像,并在移动手机时进行比较以估计到每个像素的距离。 尽管只有一台RGB相机,但是添加深度传感器(例如飞行时间传感器)将使深度图更好。
景深可以从许多方面增强AR的真实感。 “遮挡”是景深应用程序之一,它隐藏了现实世界中数字对象的被遮挡部分,因此它们看起来就像它们实际存在于真实场景中一样。
另一个是“表面交互”,也就是说,在设备的世界中,添加3D级别的计算可以实现与真实对象(例如创意AR对象)的表面的交互,并设计表面上的反弹和飞溅动作。 此功能可用于开发新的交互式游戏机制,使玩家能够躲在真实物体后面。 Snapchat的Dancing Hotdog和Undersea World Lens效果都使用景深。
持久云锚API
Cloud Anchors API可用于与多个用户共享ar对象。 通过同时查看同一物理空间中不同位置的这些对象并与之交互,AR内容可以使用更长的时间。
这等效于“保存按钮”,人们可以基于相同的AR体验进行创建并进行重复修改。 例如,Sybo和iDreamSky的Mark应用程序使用此功能,人们可以与现实世界中的朋友一起创建,发现和共享艺术品。