在不牺牲追踪算法准确性的情况下，以更小的尺寸、更高的效率进行眼动追踪

基于摄像头的眼动追踪是AR/VR系统的重要组成，但目前的系统存在一定的局限性，包括体积尺寸，吞吐量，以及摄像头和后端系统之间的高通信成本。

在一项研究中，美国佐治亚理工大学、莱斯大学和Meta的团队开发了一种全新的眼动追踪系统，他们希望通过结合无透镜摄像头、专有算法和加速处理器设计来克服相关限制。

研究人员表示：“目前的VR头显太重，游戏可能存在滞后，而使用控制器会很麻烦。综合起来，这会让用户无法获得真正的沉浸式体验。”

所以，团队研发了名为EyeCoD的新系统。通过用编码的二进制掩模代替对焦透镜，FlatCam可以比基于透镜的摄像头薄5倍～10倍。掩模对入射光进行编码，而不是直接聚焦。可以对FlatCam传感测量的编码信息进行计算解码，以重建在掩模制造和测量过程中可能引入伪影和噪电的捕获图像。

另外，减小的形状参数为将后端眼动追踪处理器连接到更靠近前端摄像头留出了空间，从而大大减小了摄像头和处理器之间的距离，并相应地降低了眼动追踪的整个系统延迟的通信成本。

EyeCoD系统的另一个特点是，它只将用户眼睛注视的屏幕位置设置为高分辨率。它通过预测用户的注视点可能落在哪里，然后以高分辨率即时渲染这些区域来实现这一点。这可以计算节省，加上专用加速器，巩固了EyeCoD提高处理速度和效率的能力。

通过结合FlatCam，团队提出的系统能够在不牺牲追踪算法准确性的情况下，以更小的尺寸、更高的效率进行眼动追踪。系统同时可以通过不包括基于透镜的摄像头来增强用户隐私。 

值得一提的是，团队在2023年获得了斯坦福技术授权办公室的25000美元拨款，以帮助项目实现商业化。他们希望利用这笔资金将当前的演示集成到一个紧凑的眼动追踪系统中，并用于商业VR/AR头显。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。