透过Meta仿真生物眼洞悉元宇宙的未来

机器人皮肤、气动触觉手套这些让未来的元宇宙拥有更加真实的触觉交互。

如果你想在元宇宙中看到高保真的虚拟世界,视觉交互是不可忽视的。

于是,Meta 宣布开始开发机械仿生眼。

这是给人类使用的吗?真不是……Meta称这是未来用来放入仿生人体内的,看起来这是要建立 MetaHumans 吗?

仿生眼

近日,该公司申请了一项名为“双轴可旋转机械眼球”的机械仿生眼专利。

据称,该专利相关技术可用于构建 Facebook 的 AR/VR 应用程序,以在元宇宙中更快地呈现 3D 图像和提升用户体验。

总之,这项专利可以称为 Meta 在元宇宙中的又一进步。

Meta下一步是要开发元宇宙之眼?

根据 2021 年 12 月批准的一项称之为“机械眼球 100 ”的文件披露,这种金属球体是一种类似于人眼的机械眼,具有两个与中心点相交的旋转轴。

从专利提交时间来看,该仿生眼专利于2019年6月11日提交,2021年12月7日获批。

该专利详细介绍了高性能和逼真的机械仿生眼的设计。

机械眼未来将作为电子动画设备的一部分,能够更准确地跟踪人眼球的运动。

在专利中,对这种仿生眼设计的描述也显得相当复杂,其中一些是为了模仿人眼的巩膜、视网膜和角膜,以及瞳孔和虹膜。

Meta为什么要单独设计仿生眼?难道是给《西部世界》拥有人工智能的仿生人使用吗?

Meta称,设计机械仿生眼是为了与机器人头部进行匹配,为了让眼睛显得更加真实。

这只仿生眼将配备传感器,以帮它「看见」真实的世界,并且可以通过机器学习进行训练和改进。

机器学习可能基于人类眼球运动数据,然后将这种能力映射到机械眼上。

专利中还提到了,眼球将被放在类似于人类皮肤的模具中。这一模具可能包括头部和身体。

有网友表示,「那么,他们是MetaHumans吗?」

但是这项设计最终会在哪种场景下使用呢?Meta 发言人表示,“公司不评论其专利的具体涵盖范围或申请专利的原因。一般而言,专利不一定涵盖我们产品和服务中使用的技术。”

要知道,Meta的这款仿生眼还可以提供更多的实际应用。

仿生眼可以作为工具来更准确地跟踪人眼运动,以观察它在屏幕和图像上停留的时间。

例如,眼动追踪技术常用于广告中,以观察用户对广告的喜爱程度。

此外,眼动追踪技术也可用于构建 Facebook 的 AR/VR 应用。

比如曾经风靡一时的Oculus头戴设备,简直就是为未来的这项技术安装上了翅膀。

正如知情人士所指出的那样,这项技术可能会加速严重依赖眼动追踪的公司的增强现实和虚拟现实应用的发展。

不管怎样,这种机械仿生眼技术,更加坚定了Meta进入元宇宙的决心。

一举拿下元宇宙中的视觉、听觉、触觉三要素

这不是 Meta 第一次考虑为机器人添加人类感官特征。

早在去年 11 月,Meta 就与卡内基梅隆大学(CMU)合作开发了一种轻巧的触觉传感器机器人专用“皮肤”,可以赋予机器人触觉感知。

据称,机械仿生眼和人造皮肤的探索是Meta人工智能部门2019年进行的更广泛的机器人实验的一部分。

这种皮肤叫做ReSkin,只有2-3mm厚,表面有弹性,类似橡胶。

仔细看图,可以发现其内部嵌入了磁性颗粒。当按压/触摸产生时,皮肤表面产生形变带动内部粒子的磁场变化。这些变化会被磁力计监测收集,并反馈给通过自监督学习训练过的AI模型。

扎克伯格表示,可以用于元宇宙中的虚拟对象,使我们与之交互时获得触觉感受。

Meta首席人工智能科学家 Yann LeCun认为机器人技术成为了研究人工智能的方式,他曾表示,机器人技术是扎克伯格抵制的一个领域。

LeCun曾表示,「这是人工智能研究人员试图到达的地方。感知、推理、计划和行动的形成一个不断循环的完整闭环,最后能够从环境中获得反馈。」

仿生眼主视觉、ReSkin电子皮肤则负责管理触觉,而Meta最具代表性的Oculus头戴设备最终再将视觉和听觉效果完美结合。

可以看出,Meta在通往元宇宙的路上,打通了人类视觉、听觉、触觉三大感官体验。

事实上,在触觉方面,前段时间,Meta 还透露了其秘密研究了七年的项目“气动触觉手套”。

这种触觉手套可以让你在通过安全气囊抓取虚拟物体时体验真实的触感。对于 Meta 来说,这款手套和其他可穿戴技术将引领我们走向 VR 和 AR 交互的未来。

然而,在真实元宇宙中的体验不仅包括视听触这三种感官特征,还需要闻到不同的气味,尝到不同的味道。

目前在元宇宙技术体系中,尚未引起广泛讨论的就是嗅觉和味觉,主要原因在于这对攻克技术难题有更高的要求。

然而,在未来,没有不可能的事。一切皆有可能。

Meta元宇宙不是PPT宇宙

2021年11月,Facebook在Connect大会上更名为Meta,并计划投资数千亿美元进入元宇宙。

Meta的举动将所有人的注意力都转移到了它所创造的虚拟世界上。

事实上,Meta在元宇宙中的布局,不仅仅是上面提到的项目,还有关于《阿凡达》的研发。

元宇宙是一个具有身临其境的空间感的 3D 数字世界。

在这个世界里,人们通过佩戴虚拟现实设备或植入芯片来创造虚拟形象并融入其中。

在元宇宙中,不仅有人,还有虚拟物体,更重要的是机器人。

除了人与人、人与物的交互,人与机器、机器与机器、机器与物质的交互也很重要。

与机器人有关,它被称为机器人元宇宙。机器人元宇宙是机器人理解物理世界的基础。上面提到的仿生眼、人造机器人皮肤等技术,都是为了让机器人更人性化、更逼真。

Meta 也做出了许多尝试来改善人类在元宇宙中的体验,并取得了相当大的突破。

例如,Codec Avatar 项目是一个使用 3D 捕捉和 AI 技术创建逼真肖像的系统。本项目从最初的高清化身开始,逐渐发展为全身的虚拟化身。

在这个过程中,开发了全身视频编解码器,使元宇宙中的人类化身可以支持眼睛、面部、四肢、躯干等部位更复杂的运动。例如,项目团队通过 EMG 腕带进行 XR 输入,可以准确测量人们移动手臂的方式。

人类化身已经取得了许多突破,因此通过物理手段将现实世界中的物体映射到元宇宙中已经不是问题了。

例如,在元宇宙中对衣服的真实模拟是非常逼真的。它不仅完美地再现了服装面料的质感,而且衣服表面的褶皱在衣服晃动时也栩栩如生。

元宇宙中模拟衣服

Meta所有的开发和研究工作都是为了让人们在元宇宙中获得更好的体验。这也印证了小扎进军元宇宙的宣言并非纸上谈兵。Meta对于元宇宙不断的扩展及丰富值得期待!