近日,微软研究院联合科学家们开发了“PeopleLens”系统,PeopleLens是一套开放AI系统,应用Nreal Light AR眼镜,可以帮助失明或者视弱者感知周围环境,并与同伴有效互动。
借助Nreal Light的摄像头、传感器、空间计算能力以及6DoF头部追踪功能,PeopleLens系统可以实时探测到周围人群的相对位置,并建立一个实时的3D“人群地图”。
当有视觉障碍的用户看向人群,Nreal Light的空间立体音效便会以有方位感的语音来提示用户他所认识的人的名字和距离,帮助用户理解同伴的相对位置和距离。
并且,空间立体声音标识会随着交流对象移动,用户可以轻松感知到对方的移动。同时,当有人看向用户时,PeopleLens也会向用户发出提醒。
有了这套“装备”,视觉障碍的儿童与年轻人 “找到朋友”将不再是一件难事。父母和老师们也可以借助这套工具帮助他们发展社交能力与自信。
当然,AR眼镜,能够帮助的,不仅仅是视障者。越来越多的从业者相信,AR眼镜甚至可能成为普通人继手机之后的互联网新入口,甚至是只要醒着,就无时无刻使用的那块屏幕。
“终端的发展有一个必然趋势,即‘显示’是离人越来越近。眼镜比手机离人更近。在大脑植入芯片之前,AR眼镜可能是我们所需要的最后一块屏了。”Nreal创始人、CEO徐驰近日接受晨报周到记者专访时说。
2022年2月14日,Nreal的AR眼镜新品Nreal Air在日本预售,3月4日正式发售,“预订量超预期”。此前2021年Nreal发布的AR眼镜Nreal Light在日韩和欧美市场落地,也引起了不少的用户的好评。从去年Nreal Light和今年Nreal Air的销售情况,Nreal出货量超过Magic Leap、Hololens早年的出货量。
Nreal创始人、CEO徐驰2017年创立Nreal公司之前,曾在NVIDIA参与过新一代GPU计算平台的研发,而后加入Magic Leap,负责头部跟踪定位算法实现及嵌入式优化。在Magic Leap,徐驰第一次系统性地了解Metaverse(元宇宙)。
“AR会是未来十年高速增长的领域。看一个行业是否进入快速上升期,关键是基础技术的就绪度,产业链的成熟度,以及产业生态的发育。”Nreal创始人、CEO徐驰对AR十分笃定。
徐驰预计,随着5G的发展,各方对AR产业的热情投入以及消费者认知度的提升,2022年国内的消费级AR眼镜将迎来规模化增长。
徐驰说:“AR眼镜是连接虚拟与现实世界的重要入口,构建下一代空间互联网的关键。我们很有幸,站在了一个未来10年会高速发展的赛道。AR眼镜市场仍处在培育期,但可以预见会在未来五年迎来快速发展。”
在这个赛道,第一个半场是大家都愿意戴上AR眼镜;第二个半场是Always On,只要醒着大家可能就会一直戴着AR眼镜。
徐驰认为,手机屏幕有着天然的瓶颈,从4G到5G数据量的提升是指数级的,但手机屏幕却无法再指数级地放大。即使是目前火热的折叠屏手机,也只是将屏幕放大了2倍。而AR眼镜做围绕手机的第二块屏幕,把带宽的优势进一步释放出来,是很好的方向。
相对PC互联网向移动互联网的过渡,5G时代我们将进入空间互联网,即实现物理世界与数字世界的融合,这也需要AR眼镜来完成。
从空间互联网的角度来说,AR眼镜对手机的替代是一个必然节点。手机+AR眼镜的交互是空间互联网1.0阶段,也是实现空间互联网终极目标的必经阶段。届时的交互方式,将从目前的触摸屏+手势交互,变革为手势+视觉+声控的多模态交互。
AR眼镜比手机离人更近,并且屏幕更大,交互更方便,这是其先天性的优势。同时AR眼镜佩戴在人类感知最丰富的的地方,视觉、听觉、触感等。未来通过集成更多的传感器,甚至可以收集心跳、脑电波等人类数据。这些都可以让AR眼镜取代手机成为新的设备中心。
对于大家都在热议的“元宇宙”,徐驰认为,从行业角度来看,这件事本质还是硬科技,需要有人潜心做底层技术突破,终端才有机会起来,才会有像移动互联网这样的生态。
“元宇宙这件事应该分步骤来,节奏感很重要,什么是第一和第二条增长曲线。像《头号玩家》那样一定是十年期的事情。现在一说元宇宙很容易把游戏装进去,其实游戏只是其中很小的一部分。社交、文娱、生产力都在其中,是一个更加完善的生态。”
不过,徐驰更习惯把它叫做空间互联网。互联网的发展的趋势,就是信息的维度和密度进一步提升。信息密度提升,信息的熵值也就是无序性也会变大。信息越来越复杂,就需要终端提供高效的筛选。
从移动互联网到空间互联网最大的变化,就是从 2D 的长方形边框,到了一个 3D 的无边框的世界。例如 PC 时代,互联网就是一个固定的框;移动互联网时代,手机就是一个可以移动的框;空间互联网,可以无限扩展。
而且元宇宙一定不是完全纯“虚拟”的,而应该是虚实结合、将数字技术、AR硬件和现实相融合的。真正让大家长时间能在这个世界里面生活的一定不是逃离现实,而是让真实的世界变得更美好。
接下来,我们看看Nreal创始人、CEO徐驰具体怎么说的:
晨报周到: Nreal Air在日本市场2月14日全球首发预售,3月4日将正式发货,目前的预售情况如何?
徐驰: Nreal Air这款AR眼镜新品自从2月14日在日本开始预售以来,预订量超预期,受到了日本消费者的喜爱与好评。
我们正和 NTT DOCOMO和KDDI 保持密切合作,通过线上和线下全渠道将Nreal Air这款消费级AR眼镜新品带给日本用户。
我们还在全球多个国家联合本地合作伙伴和开发者不断扩充新产品和AR生态,给消费者带来随时随地、触手可及的AR体验,助力构建更多元、更美好的空间互联网世界。
晨报周到: Nreal 的产品,主要在海外市场销售,包括日韩欧美,国内反而没有,为什么聚焦海外市场?怎么看待国内市场需求的情况?
徐驰: 选择在某个市场销售,主要是考虑几个因素:一个是当地的5G部署和当地运营商的支持力度;一个是AR内容和应用生态发展的情况、AR开发者活跃度;还有一个就是当地消费者对AR产品的认知和接受度。
日本在数字内容生态方面有很好的用户和开发者基础,我们也得到当地运营商合作伙伴DOCOMO和KDDI的大力支持。
国内市场的重要性不言而喻,伴随着5G的发展,各方对AR产业的热情投入以及消费者认知度的提升,我相信,2022年国内的消费级AR眼镜将迎来规模化增长。
晨报周到: 目前Nreal 的产品中,此前第一款Nreal Light的销售情况是怎样的?
徐驰:Nreal是第一个把AR设备通过创新的分体式解决方案做到普通太阳镜大小,也是第一个打通了AR眼镜跟手机生态的连接,并实现消费级AR眼镜商业化落地。
Nreal Light在韩国、日本、美国等国家落地后,给了我们进一步在全球市场推广产品的信心。第二款产品Nreal Air也于今年2月正式在日本开售,预售阶段的情况非常火爆,以目前的市场反馈来看,Nreal的出货量超过Magic Leap、Hololens早年的出货量。
晨报周到: 从第一代Nreal Light到第二代Nreal Air,就参数来看,续航时间更长,感知度、沉浸感等也在提升,我们硬件升级的路线和逻辑是怎样的?你是否也买过很多相关硬件产品,体验下来是怎样的?
徐驰: Nreal在消费级AR眼镜的硬件升级的目标是,越来越趋近于人们愿意日常随身、随时、随地佩戴,努力达到功能性、舒适度与设计感的平衡。
我们最初的产品研发阶段,曾经在2年的时间内实现了7 次迭代,从笨重到轻巧,实现从最初一个五百克的头盔形态的样机,到现在量产的产品降到一百零几克、七十九克的眼镜产品。
我们做产品的思路不是简单地堆砌硬件和传感器,而是在追求工艺美学的情况下,尽可能的去取舍传感器的数量,精益求精地打磨光学组件,并通过算法研发来保证体验效果,实现功能和设计的平衡。
我们目前采用的是行业首创的分体机的解决方案,需要将AR眼镜连接手机使用。
但未来当渲染、计算等功能可以实现放在云端,就可以给终端释放空间,可以把终端硬件做的更轻薄,可以剪断连接线,不需要手机的支持。
晨报周到: 在硬件发展层面,我们看到海外有公司研发设计了带有 AR 功能的隐形眼镜(InWith公司),怎么看待同行的这样产品方向?
徐驰: 终端的发展有一个必然趋势,即“显示”是离人越来越近。眼镜比手机离人更近。在大脑植入芯片之前,AR眼镜可能是我们所需要的最后一块屏了。
目前还不了解这家公司,但听起来是一个很有意思的探索和尝试,我们会保持关注。
晨报周到: 在中国市场的布局和节奏是怎样的?
徐驰: 首先是技术与研发布局。中国市场是Nreal重要的研发制造基地。响应“数字中国”战略,Nreal希望在光学、显示、算法、软件等核心技术的研发,以及智能制造与下一代空间互联网发展上贡献力量。
我很感谢这样一个充满机遇的时代,我以前去硅谷参加一个活动,有美国的创业者对我说,从来没听说过哪家硬件厂商可以在2年中间迭代7次产品,而Nreal在中国做到了。我们的“快”,来自于本土强大地应链体系,让我们可以小步快跑地快速去试。
其次是产品布局。中国是全球最具潜力的消费级AR眼镜市场。我们希望引领中国消费级AR眼镜的趋势,面向中国市场,我们会围绕轻薄便携,视觉感受以及使用体验等几个方面来打磨产品,并适时向中国市场推出。
同时还有生态布局。我们会和AR生态厂商保持密切合作,从上游技术到下游内容及服务提供商,Nreal希望联合他们一起来提供丰富多元的AR体验。
晨报周到: Nreal 打造了Nebula的3D交互系统,里面涉及空中投屏和MR空间体验的部分,目前这个系统的活跃度如何?用户频率高吗?我们内部是怎么看待这个交互系统体验进化的?
徐驰:「Nebula」是Nreal 从无到有、自主研发设计的AR 3D空间操作环境。Nreal产品的用户都是「Nebula」的积极使用者。
目前,「Nebula」已经在欧美、韩国,日本有了一定的用户基础,及开发者生态基础。
「Nebula」可以安装并运行在与其兼容的安卓手机上,经与Nreal的AR眼镜终端产品相连接后,用户即可体验3D空间内的各类增强现实(AR)内容和应用。
「Nebula」的交互界面与手机App相似,启动后即可在AR眼镜中通过「Nebula」进入“MR 空间”模式,体验3D空间感的界面交互,通过多个立体的虚拟大屏观看内容、浏览网页,并可体验各类3D AR应用;此外,也可以通过「Nebula」在“镜像投屏”模式下直接将手机里的内容镜像投映到AR眼镜中的虚拟空间中,享受巨幕观影或大屏游戏。
交互是用户体验的核心。空间互联网和AR眼镜带来了交互方式的变革,应用又一次会被重新定义,而这些应用随着交互变成3D化,你会发现它的交互会变得像游戏化,然后所有的这些应用都有机会被重新定义。
我们也同样从无到有、自主研发了AR/MR应用开发工具NRSDK,支持海内外的开发者开发相关AR/MR应用,以应用于各类消费级与行业场景,为行业与消费者提供科幻级的混合现实体验。
晨报周到: 我们也有开发者平台,这块的具体情况是怎样的?包括目前有多少开发者参与?这些开发者主要是怎样的人?我们的平台也涉及到收费的部分,这块业务是怎样的?
徐驰: 目前全球注册的开发者已经过万,主要是中国及日韩欧美各国对AR技术感兴趣的个人,以及提供各类多元应用方案的厂商。
他们开发了不少有趣的应用。比如,在欧洲看足球现在有一个全新的交互体验,观众用 AR 眼镜看的时候,可以多视角、多机位,同时也能看到整合出来的球员的数据。
比如另外一家叫 Spatial 的公司,他们做的是一个 3D 版本的 Zoom。我相信未来人们一定会在 3D 的世界里交流信息、创作;同时 3D 数字内容直接在会议室里呈现。Spatial 做的很好,而且不仅开会,里面也可以社交,几乎可以做任何事。
晨报周到: 在内容和系统层面,我们的整体策略和布局是怎样的?
徐驰: Nreal目前的角色是做好硬件,而内容则会联合顶尖的合作伙伴一起来做。
我们和AR生态里的许多顶尖内容玩家保持了密切合作,不久后应该会有更多新合作新惊喜可以分享给外界。
Nreal基于AR眼镜打造的AR 3D空间操作环境「Nebula」,既可以将手机中已存在的安卓应用无缝移植到AR眼镜中,获得近在眼前的巨幕体验,还可以进入独家3D空间,通过多屏形式,体验更多AR应用。
晨报周到: 从2012年谷歌发布拓展现实"眼镜,2015年内部停止这个"探索者"项目,到如今行业的星星点火依然存在,你怎么看AR眼镜这几年行业的发展?
徐驰: AR眼镜是连接虚拟与现实世界的重要入口,构建下一代空间互联网的关键。我们很有幸,站在了一个未来10年会高速发展的赛道。AR眼镜市场仍处在培育期,但可以预见会在未来五年迎来快速发展。
晨报周到: 从英伟达、Magic Leap,再到自己创业,算是一直处于该领域的产业链上,对这个行业的观察是怎样的?
徐驰: 每次新的终端出现都会带来一系列机会,会有新的体验、新的生产关系、新的社区,同时,新的技术会带来3D内容呈现平台的变革。
未来很多底层技术包括空间计算+AI、技术驱动的感知,以及未来更精准的三维世界地图等等,会成为Metaverse或者说空间互联网的典型基础架构。
手机屏幕有着天然的瓶颈,从4G到5G数据量的提升是指数级的,但手机屏幕却无法再指数级地放大。即使是目前火热的折叠屏手机,也只是将屏幕放大了2倍。而AR眼镜做围绕手机的第二块屏幕,把带宽的优势进一步释放出来,是很好的方向。
相对PC互联网向移动互联网的过渡,5G时代我们将进入空间互联网,即实现物理世界与数字世界的融合,这也需要AR眼镜来完成。
从空间互联网的角度来说,AR眼镜对手机的替代是一个必然节点。手机+AR眼镜的交互是空间互联网1.0阶段,也是实现空间互联网终极目标的必经阶段。届时的交互方式,将从目前的触摸屏+手势交互,变革为手势+视觉+声控的多模态交互。
AR眼镜比手机离人更近,并且屏幕更大,交互更方便,这是其先天性的优势。同时AR眼镜佩戴在人类感知最丰富的的地方,视觉、听觉、触感等。
未来通过集成更多的传感器,甚至可以收集心跳、脑电波等人类数据。这些都可以让AR眼镜取代手机成为新的设备中心。
晨报周到: 此前,你预测2030 年将会有10亿个AR眼镜戴在消费者的头上,这距离现在还有8年,你觉得怎样的一个数量级,是行业发展理解点?大约在什么时间?
徐驰: 我会觉得赛道可能分成上下半场:第一个半场是大家都愿意戴上AR眼镜;第二个半场则是Always On,只要醒着大家可能就会一直戴着AR眼镜。
我们今天先发力在第一个阶段,就是有哪些场景,有哪些功能会让用户愿意随身带着,就像手机一样大家是愿意随时随地带着AR眼镜,随时可以掏出来使用。
晨报周到: 行业发展到当下,你认为风口这次是真正到来了?
徐驰: AR的确会是未来十年高速增长的领域。看一个行业是否进入快速上升期,关键是基础技术的就绪度,产业链的成熟度,以及产业生态的发育。
在产品层面,我们需要关注市场需求变化,关注产业链的发展,但在基础研发层面,我们会去做长期有价值的事情,我们不是追风口的公司,硬件创业需要勇气和耐心。
晨报周到: 去年年初,我们融资了1亿美元融资。今年以来,有资本找到我们要投资吗?你们感知的资本温度是怎样的?
我们和投资者保持良好的互动,资本会越来越关注有底层科技创新能力,能否带来长期价值回报的企业。
晨报周到: 这几个月"元宇宙"大火,但你更愿意说"空间互联网",如何看待当下大家对"元宇宙"一拥而上的现象?
徐驰: 目前一个不太好的点,是所有东西都能用元宇宙包装一下,看起来就像新东西了。从行业角度来看,这件事本质还是硬科技,需要有人潜心做底层技术突破,终端才有机会起来,才会有像移动互联网这样的生态。
元宇宙这件事应该分步骤来,节奏感很重要,什么是第一和第二条增长曲线。像《头号玩家》那样一定是十年期的事情。现在一说元宇宙很容易把游戏装进去,其实游戏只是其中很小的一部分。社交、文娱、生产力都在其中,是一个更加完善的生态。
我们会习惯性的把它叫做空间互联网。互联网的发展的趋势,就是信息的维度和密度进一步提升。信息密度提升,信息的熵值也就是无序性也会变大。信息越来越复杂,就需要终端提供高效的筛选。
从移动互联网到空间互联网最大的变化,就是从 2D 的长方形边框,到了一个 3D 的无边框的世界。例如 PC 时代,互联网就是一个固定的框;移动互联网时代,手机就是一个可以移动的框;空间互联网,可以无限扩展。
而且元宇宙一定不是完全纯“虚拟”的,而应该是虚实结合、将数字技术、AR硬件和现实相融合的。真正让大家长时间能在这个世界里面生活的一定不是逃离现实,而是让真实的世界变得更美好。
晨报周到: 2016 年底回国创业,2017年Nreal 创立,2019年CES之后受到更多关注,到之后发布硬件产品,这几年,AR\VR企业经历了沉浮,对你的创业影响最大的是什么?
徐驰: 我发现了一个有意思的情况,当你处在历史当中最让人兴奋的时代,你能不能感受到这就是最让人兴奋的时代?有可能就是当这个时代来了,你反而在疑惑,浑然不觉,觉得要等到5年以后。
任何一个事情,就任何一个行业赛道都可能会经历持续的波折,但是,许多优秀的企业家和创业者,比如马斯克等这些人,他们在创业的时候,并不一定是觉得那一年是一个恰恰对的时间,早一年晚一年都不行,而是因为他们觉得做那个事在当下的节点是一个长期且重要的事。 如果这件事是长期且重要的,早一年晚一年重要吗?不重要。
晨报周到: 关于商业化这块,你是怎么考虑的?
徐驰: 现阶段我们会聚焦在消费级AR眼镜的商业化上,先有极致的产品,然后再探索更多的可能性。
我们觉得To C是更难的,因为消费者层面其实对产品更挑剔。ToB侧,在中国很容易变得销售导向。
当正因为难,我们选择做ToC的产品,可以和消费者保持一个直接且频密的互动,可以帮助我们更好的去做产品的迭代和小步快跑,让我们第一时间从消费者搜集反馈,再去迭代。