疫情背景下,Google 为了与本土开发者相聚,GDS 2020(Google 开发者大会)搬到线上,以“代码不止”为主题,14+ 产品线,50+ 精彩技术演讲,70+ 技术专家,6 天技术演讲满满干货。ARCore 压轴出场,着重介绍了今年新推出的两项AR领域的重磅功能 : Depth API(深度 API)以及持久云锚点(Persistent Cloud Anchors)技术,搭载引人入胜的精彩展示,带你感受科技为生活带来的无限可能。
Google 发布于2018年的 ARCore 是增强现实技术开发者的平台,为 Android 和 iOS 用户创造有效的 AR 体验。目前该技术已支持7亿台以上的设备,被应用成千上万款 APP 上,并且持续成长中。
11月16日的 Keynote 演讲,以及11月21日的两场会议围绕“ ARCore 新功能”和“深度 API 实现 AR 真实感”两大主题,介绍了 ARCore 在技术上的新进功能,在环境景深理解上的进阶技术探索,以及与本地开发者的创新合作成果。加上科技达人多角度诠释 ARCore 技术更新及本土案例,掀起科技迷们对 AR 的新一波热情。
ARCore在中国 – 越来越多开发者正在创新运用
从 2018 年 ARCore 技术登陆中国,已经在教育、购物、游戏等多个行业和大量开发者进行合作。随着 ARCore 的不断更新,越来越多的中国开发者正在创新应用这项技术,为本地用户带来更多新奇体验。
美图 – 用 AR 拍出梦幻自我
美图公司利用 ARCore 的增强脸部 API(Augmented Faces API)构建了 100 多个自拍滤镜,让用户可以在拍摄照片和视频时体验 AR 特效。增强脸部 API 提供高精度的由 468 个点组成的密集 3D 脸部网格,追踪嘴部动作、眨眼、点头和一些复杂的细节。
此外,新推出的瞬间放置 API (Instant Placement API) 对美图更是如虎添翼。加上几行代码,通过将 AR 对象锚定到 2D 图像中,让用戶不需要扫描,就可以放置虚拟物件并进行互动。
有道少儿词典 – 用 AR 身临其境地学习
有道少儿词典使用 AR 打破了时空限制,让孩子们有趣和又有效的方式学习新单词。利用 ARCore 的环境理解(Environmental Understanding)及平面识别(Plane Finding),识别环境中的对象和特征,精确地理解环境,加上炫酷逼真的 3D 模型,为孩子们带来身临其境学单词的乐趣体验。
学习过程中,孩子们不仅可以将精致模型投射在家里,从各种角度进行观察,放大缩小或移动;还可以点击模型上的中英文词框,或点进查词结果页,查看中英单词的权威释义,使形象和字义深刻联结。这大大提升了学习的趣味性,让孩子们边学边玩两不误。
滴滴 – 用 AR 让路痴永不迷路
在火车站、商场和机场等大型公共区域,你是否有打上车却找不到司机的体验?AR实景导航,让路痴轻松找到方向。
基于 ARCore 技术,滴滴构建了一个实景导航解决方案,实时识别用户和环境之间的定位关系,AR 实景导航引导信息逼真地和实景环境相结合,用户只需要跟着 AR 路标走,直接跳过转换 2D 地图信息的步骤。在这个过程中,ARCore 的环境理解和运动跟踪功能,确保手机始终识别用户方位,给出正确的路标指导。
在定位时,ARCore 会提示用户获得一张有效定位图片,利用运动追踪功能,感知用户位置、移动速度和角度。同时,ARCore 通过环境理解功能可以理解周围现实环境,估算平面信息,不论是商场地面,还是垂直于水平地面的墙壁、指示牌,它都能快速理解并相应放置虚拟指示路标,使引导信息渲染得更加逼真,让用户一看就明白。
这种有用、科技感十足的导航方式,一经推出就大受用户好评。这项功能在中国、日本等多地上线,据数据显示,它帮助用户节省近 1/4 的时间,满意度达 80%。
ARCore 新进展 – 让更多人,在更多地方体验更逼真的增强世界
除了这些丰富多彩的创新合作成果,本次 Google 开发者大会上,还着重介绍了 ARCore 技术的最新进展,为各位开发者们带来了两项AR领域的重磅功能:Depth API(深度 API)以及持久云锚点(Persistent Cloud Anchors)技术。
深度 API – 解决 AR 界的遮挡及互动难题
2020年中,Google 发布了 ARCore Depth API(深度 API),为开发者们带来解决虚拟物件拟真技术难题的希望,开发者凭借 Depth API 和单个 RGB 摄像头就可创建出深度图。不依赖任何特殊硬件,所以在大部分兼容 ARCore 的设备上都是可以使用深度API的。
Depth API 的一项最关键功能就是“遮挡”:虚拟物体能够准确地出现在现实物体后面,与场景真正融合在一起。此前没有遮挡功能,虚拟物体容易“横空出世”,更像是现实世界中的“贴图”,让人瞬间出戏。
△ 左边没有遮挡功能的“喵星人”缺乏真实感,右侧开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。
那么究竟深度 API 是怎么实践的呢?怎么使用深度呢?
首先,我们先定义深度:就像下图里面表示的,C 点是摄像机的位置,Z 轴是摄像机的主轴。大写的 A 点,表示一个现实的物体。C 到 A 点的深度,就是线段 CA 在 Z 轴的投影。
一旦我们知道场景里面的物体的距离,我们就可以在渲染虚拟物体的时候使用这个信息,进行 Z buffer 计算。比较当前的像素点的深度与之前渲染在这个像素的点的深度,如果已经有别的物体出现在更近的位置,那么我们就忽略当前的像素点,这样就实现了基于深度的遮挡效果。
如上图所示,我们使用蓝色表示近处的深度,蓝色越深表示一个物体靠近摄像头越近,它的的深度值就越低。当我们启用深度表示时,就可以看到桌子的深度比椅子所在的位置深度低,所以桌子就能遮挡住椅子。
此外,使用深度信息,还可以做出一系列拟真的特殊效果。例如更加逼真的物理反弹飛濺,避开障碍物的最佳路径规划,或完美贴合在凹凸不平的表面。也可以近一步运用粒子特效,模拟一些很难用其它传统的渲染技术达到真实感的自然现象,如火花、落叶、下雨、下雪等。
知名的社交应用 Snap 公司的设计师和工程师就将 Depth 的多项特性巧妙地融合在一起,开发出了一套与实景完美結合的 Snapchat 滤镜,包括跳舞热狗(Dancing Hotdog )以及 Android 版独有的海底世界(Undersea World)。此外,Snapchat 也在滤镜开发工具中,整合了ARCore Depth API ,滤镜创作者只需在开发工具中下载 ARCore Depth API 模版,就能开发出基于深度,更沉浸更真实的体验。因为开发过程大大简化,滤镜创作者们可以更轻松地应用高级的深度功能。
△ Snapchat 滤镜的真实体验感
除了移动游戏与社交软件上的应用之外,深度 API(Depth API) 还在很多工具类应用上大放光彩。
例如,提供远程技术解决方案的应用程序 TeamViewer Pilot 在视频会话中加入 AR 注释,这都多亏了 Depth API 帮助程序更好地理解环境及物件,世界各地的专家足不出户,就可以准确使用实时 3D AR 注释为用户提供远程技术支持。
△ TeamViewer Pilot 应用中的 3D 注释功能让专家远程精准标记出重要细节
三星的快速测量工具 Quick Measure 也在技术支持下不断迭代 ,目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的设备上应用 ARCore Depth API ,为用户提供更精确的测量功能了。
三星相机技术项目经理 Soowan Kim 认为 Depth API 大有可为:“Depth 会从多个层面丰富用户的 AR 体验。它将减少扫描时间,加快平面检测速度,即使是纹理不清晰的平面也能快速检测。
△ Quick Measure 实现更精准测量
持久云锚点 (Persistent Cloud Anchors) – 让 AR 物体永存的秘密
ARCore 云锚点,通过 Google 的云服务托管锚点,可以让二个人甚至是二百人在同一个虚拟世界共享与互动。全新的持久云锚点则加强了这个功能,让用户将虚拟内容“储存”到任意现实场景中,将了文字、影像信息、或3D人物虚拟内容的和现实世界地点关联起来,永久保存共享。
△ SJ Labs 通过 AR 标记协助指引旅客们在斯德哥尔摩中央车站内行进
这一技术,让許多人以城市真实环境互动的沉浸 AR 应用及游戏得以实现。例如 MARK,是由 创梦天地和 Sybo 开发的一款AR社交应用,可以让你通过智能手机,在现实世界中和朋友、粉丝共同发现、共同创作的和现实场景完美融合的AR涂鸦。运用 AR 和地点场景完美整合的特性,你还可以用来装饰房屋、进行多人大范围的寻宝游戏、甚至跨城市的慈善募款等。
△ MARK 应用中与粉丝好友一起 AR 涂鸦
此外,沉浸式内容工作室 Phoria 与 Google 、Netflix、WMF和一加合作,推出大自然主题的移动端 AR 互动应用:《Rewild》(中文直译为:重归荒野)。首个试播集名为《Frozen》,是系列四部曲的第一部。你在体验过程中,需要先用手机扫描周围环境,通过扫描和探索来发觉故事中的 AR内容。通过该应用,你可以利用周围的空间与 AR 进行互动,好像亲眼目睹地球的浩劫与救赎,效果震撼人心。
△ REWILD 应用中可身临其境探索宇宙
接轨5G – AR赋能 5G 更多沉浸体验
当我们讨论行动互联网的未来, 相信“5G” 绝对是那个最重要的关键词。
5G 赋能了巨量、稳定、且快速的资料互联, 无论是对用户,或是整个IoT生态圈,都将带来革命性的新机会, 也为AR的应用带来前所未有的可能。
Google ARCore 团队也和许多运营商合作尝试了AR 加 5G 的全新应用。例如,在南韩,这个全球第一个迈入 5G 全面商用化的国家,LG Uplus 在首尔地铁站,建立了 AR 艺术长廊以及展示车厢。虽然地铁站一向都是人数多、信号差的地方,但是有了 5G 的加持,用户可以直接通过手机观看韩流明显或是瑜伽教练的真人全息影像,也可以顺畅体验复杂的 3D 人物舞蹈。
此外,Google 也与SK Telecom,及文化遗产管理局合作,创建了全球第一个5G 赋能的AR增强现实文旅体验,作为 5G 网络服务示范。通过ARCore 赋能,用户可以身临其境的了解昌德宫的历史故事,生动地看到昌德宫的金泉桥、仁政殿、熙政堂等景点。之前因文化遗产保护而限制入内的地方也得以公开。 此外,用户还可以与AR中的王和王后一起拍摄 AR 照,或进行 AR 射箭、AR 放风筝等丰富多彩的 AR 体验。SK 电信品牌营销集团负责人表示:“今后将利用 5G 技术,推出更多能够为社会做出贡献的活动”。
AR 作为一种视觉沉浸式媒介,持续吸引着社会各界的广泛关注。Google 作为技术先驱,正积极地与全球开发者合作,用大放异彩的 ARCore 带来一个又一个惊喜。这种变革式的新体验,在不断发展中已有长足进步,但想必它还有更为广阔的远景。未来,它将如何予力社会与个人,改变你我的生活呢,让我们拭目以待。
想马上开始实做你的第一个AR 应用却没有基础? Google 与网易有道在中国大学 MOOC(慕课)合作,上线 ARCore 技术零基础免费线上课程,助力开发者学习成长。你可以直接到慕课官网搜索 “Google ARCore 入门开发课程“, 马上开始学习!
正在开发AR app 但总是觉得虚拟物件效果不够真实?你可以通过Google的示范应用ARCore Depth Lab 马上体验 ARCore 深度 API 的功能。这个应用已经上架 Google Play,并且代码开源,在 Github 中直接搜寻 arcore-depth-lab,相关的代码、论文、简介小视频都可以免费下载。
特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。