眼动追踪将如何推动下一代AR和VR?

摘要: 据麦姆斯咨询报道,随着眼动追踪技术的进步,增强现实和虚拟现实技术(AR/VR)正在实现更大的技术飞跃。

12-11 03:19 首页 MEMS


随着眼动追踪技术的进步,增强现实和虚拟现实技术(以下简称AR/VR)正在实现更大的技术飞跃。

据麦姆斯咨询报道,近些年来,随着许多初创企业及来自如谷歌、苹果、三星及脸书(Facebook)等科技巨头的大量资金支持,AR/VR发展迅速。虽已积累大量经验,但AR/VR的硬件还停留在相对“粗放”的阶段。大多数界面均通过头部动作及手柄输入来获取信息。图形/图像并不真实,同时由于决策力降低及体能下降,对眼睛伤害也会增加。

眼动追踪系统可以实时监控眼部活动,因此可能改变硬件落后的现状。

从传统角度来看,此项技术已被用于科学及商业目的收集信息,来进行相应的市场分析及医学诊断。由于人类主要使用视觉来感知周围环境,因此眼睛可透露其思想动态。眼动追踪系统可以告知设备:用户的优势项及应对方式。在处理信息方面,眼动追踪可以让一台设备与另一台设备在无手柄输入、无对应按钮、无控制器及无鼠标的情况下进行“交流”,可为“人-机关系”的革命奠定基础。例如智能手机或笔记本电脑进行眼动追踪及口头指令,相比只用鼠标或键盘进行交流的设备,均可利用人类思维进行许多其他活动。网络问题(物联网IoT)与无人驾驶及智能家居共同发展,依赖于此类人机关系的发展。

凭借小而高效的器件,以及紧凑型红外发光二极管(IRED),相关企业最终将产品的眼动追踪传感器进行集成。当进行有效的操作时,此类系统可能会允许虚拟显示来回应自然的、甚至是无意识的用户提示。这将会是一个真正身临其境虚拟体验的开始。

行业正在转变

2017年1月,日本的VR初创企业FOVE,推出了初级眼动追踪VR头戴设备。



与此同时,一些中高端AR/VR硬件公司一直在努力为现有的头戴设备中加入眼动追踪功能,除了内置选项以外这种头戴设备迟早会出现。Tobii及不同的眼动追踪制造商也已开始对其客户的AR/VR设备授权专业技术,而像谷歌及脸书这样的科技巨头已收购了部分此领域中最有前途的初创公司。

随着客户的热情不断攀升,AR/VR产品已在市场中产生深远的影响。根据Parks and Associates的数据,包括美国在内有9%的互联网家庭期待在随后的一年内购买VR头戴式设备,全球将有2400万户家庭在2017年前实现这一目标。UBI Analysis 认为,到2021年,全球出货量将超过6500万部;同时国际数据公司(IDC)预计,AR/VR头戴设备未来五年的复合年增长率将高达108.3%。

据彭博(Bloomberg Expertise)数据显示,未来四年内 VR/AR的销售额仅在中国就会达到85亿美元。与此同时Market Watch认为,到2023年注意力监测市场凭借其在VR/AR商品的作用,市场规模将达到14亿美元。

眼动追踪如何支持人们沉浸式体验

AR/VR的长期目标是完全沉浸—这是一种无中断地将用户从真实世界拉入虚拟世界的能力。这是现代信息技术历史上至关重要的先进事业之一。为了实现这一幻觉,硬件将会摆脱手柄输入,并让用户像对待真实世界一样在虚拟世界工作。

达到此技术阶段还需要时间。以下是眼球跟踪促进沉浸式选项的开发方式:

视觉渲染

我们可通过视网膜中央窝(对可见光最敏感,位于视网膜的底部,即瞳孔的后面)了解我们视野中心物体的可见细节。而在中央凹外围物体的改变,显得比较模糊。这样像大多数AR/VR系统一样,利用相同的决策,最终会是一种浪费。视觉渲染是一种数字化成像过程,它模拟了我们看东西时的状态:通过降低了环境的影响,以高分辨率显示视网膜中央凹的目标。由于注意力在显示屏上不断变化,因此眼动追踪对于发现注意点很重要。

这种技术对眼部及硬件均是相当温和的。由于可以减少对总像素的依赖,而不会改变图片完整性,视觉渲染大大降低了负载及功率消耗。这样就释放了资源,可将这些资源重新用于提升自身价值的的其他操作。正因如此,用户体验到的延迟及运动疾病要少得多,显示器的稳定性则得到了改善。The Eye Tribe的视频演示记录了对系统基准的改善显著,包括:图形处理单元(GPU)的负载从80-90%降到40-30%;时钟频率从1200兆赫降到800兆赫;散热设计功耗(TDP)从70%降到40%。

精确的瞳孔间距(IPD)

用户通过一组名为“护目镜”的镜头与AR/VR技术进行互动。“这些镜头应与用户的瞳孔保持一致,才能完整地显示出三维空间。”如果没对准,那么注意力受损,图像就会变得扁平、模糊。



寻找适当的位置比较困难。瞳孔中心点距离的大小被称为瞳孔间距(IPD),成人的IPD范围在5.1 cm到7.7 cm之间。这一变化在使用双筒望远镜、显微镜及望远镜时是很明显的,需要调整IPD以适合用户,从而获得最佳细节及深度。

大多数AR/VR头戴设备通过使用更大的护目镜或手柄进行补偿。凭借眼动追踪系统能在设备内部找到瞳孔位置,新产品可以精确地计算出IPD。最佳匹配可使用户眼睛放松,并实现体验中完全互动,从而提高了整体真实的显示效果。

自然的用户界面(UI)

当显示器响应眼部运动时,不仅仅是头部定位,用户获得更自然的视野。眼动追踪可以让用户仅仅根据需要挑选出虚拟对象,例如运动中的球或武器,或是传送到虚拟环境中的新位置。

这可以避免显示器上出现繁乱的图标,并减少导航占用的心理资源。在增强现实技术中,直接凝视界面可能会让用户在实体零售商中无需工作人员的帮助就挑选出购买对象。

社会反应

眼睛是我们交流的第一工具。在我们开口说话前,我们就可通过微妙的面部表情感受情绪。通过追踪眼部变化,沉浸式硬件可帮助软件包以更高的灵敏度识别及响应用户。这些专业技术可通过赋予其洞察社会线索能力来帮助虚拟人物表现活力。新虚拟角色可传递人类对手的眼动,为视频游戏和不同虚拟内容材料带来全新的维度。

无缝识别

人的虹膜与其拇指指纹一样独特。通过虹膜扫描进行眼动追踪,AR/VR头戴设备无需密码,即可使访问系统更容易、更安全。



眼动监测和创新

在重大突破之后,具有重大影响力的应用科学发展往往会加速。如今,FOVE已发布了一款初级眼动追踪VR头戴设备,我们预计这些功能将很快在一系列产品中广泛应用——从廉价的智能手机的耳机到高端系统。

Tobii业务部门总裁Oscar Werner向TechCrunch解释:“眼动追踪将成为二代头戴设备的重要组成部分,这一观点已得到大量VRHMD供应商的支持。这将推动专业技术的发展和创新。”

作为参考,在Tobii开始投资VR技术后不久,从2014年到2016年其总销售额几乎翻了一倍。



为了充分利用这个充满变数的市场,硬件制造商可能希望将眼动追踪系统与人眼保持一致。这种技术原理可将不可见的红外线(IR)温和地照射到角膜。光线不被察觉地透过瞳孔,呈现在虹膜上,将瞳孔的边缘显示在相机传感器上。

一种被称为“扫视”的眼球抽搐,是人体速度最快的动作之一——眼睛可以移动0.9度/毫秒,并在200毫秒内触发运动。在AR/VR中使用注意力监测系统应与此速度相匹配,尤其是在视觉渲染功能中,图像的位置应依据每次眼动进行修改。除了高效记忆卡及小型微调传感器,眼动追踪还需一种环境友好型、轻便、温和的红外线光源。基于此功能,欧司朗光电半导体开发了Firefly FH 4055,是一种用于近距离眼动追踪的IRED(注意力与传感器之间的距离低于5cm)。Firefly FH 4055在侧面安装,以达到最大反射及最小功耗。



眼动追踪向AR/VR开发者提供了与众不同的机会:拥有可与人类思想互动机器的机会。凭借专业技术的进步,超小型红外发射器在硬件创新中起着重要的作用。

延伸阅读:

《三星Galaxy S8虹膜识别系统》

《红外LED和激光器技术、应用和产业趋势》

《HTC Vive虚拟现实(VR)头戴式显示器》

《Oculus Rift虚拟现实(VR)头戴式显示设备》



首页 - MEMS 的更多文章: