我们提出了一个新的多模态数据库来帮助推进沉浸技术的发展，该数据库提供了符合道德规范并且多样化的体积数据，可以支持面部表情识别等扩展现实算法的评估和性能测试。

Feb, 2024

虚拟现实头戴设备往往导致用户出现不良影响，如数字视疲劳、干眼症以及潜在的长期视力损害。为了解决测量问题，本研究提出了一种基于 U-Net 3 + 深度学习模型的轻量级框架，可以估计可测量的眼周深度图。该方法适用于任何配备有面向眼部的单眼摄像头的 VR 头戴设备，可以重建三维眼周区域，为相关光刺激计算协议和医疗指南提供度量基础。通过使用 UE MetaHuman 创建的动态眼周数据生成环境，我们合成了数千个训练图像。在 36 名参与者的样本上评估了我们的方法，在眼周全局精度评估实验和瞳孔直径测量方面表现出显著的效果。

Nov, 2023

利用大规模目光记录数据集，本研究建立了基准，旨在回答关于目光驱动认证性能的基础研究问题。研究发现，当配备先进的机器学习架构和足够大的训练数据集时，目光认证可以达到 FIDO 标准所要求的准确性。

Apr, 2024

介绍 Visual Experience Dataset（VEDB）：一个由超过 240 小时的自我感知视频结合注视和头部追踪数据组成的数据集，提供了人类观察者在视觉世界中的前所未有的体验。该数据集包含 717 个会话，由 58 名 6-49 岁的观察者记录。介绍数据收集、处理和标记协议，讨论数据集内潜在的错误或偏差来源。VEDB 的应用潜力广泛，包括改进注视追踪方法、评估时空图像统计数据以及优化场景和活动识别的深度神经网络。VEDB 可以通过已建立的开放科学平台访问，旨在成为一个持续更新的数据集，并鼓励社区贡献。数据集强调了参与者隐私和减轻潜在偏差等伦理考虑。通过提供基于真实世界经验的数据集，并附有丰富的元数据和支持代码，作者邀请研究社区利用和贡献 VEDB，以促进对自然环境中视觉感知和行为的更深入理解。

Feb, 2024

提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

Oct, 2016

利用人工智能技术研究人眼的方法及应用，通过计算机视野和青光眼诊断来收集数据，利用软件工具分析图像，通过 Tobii Pro Glasses 3 设备和虚拟现实视频来研究眼球运动和焦点，使用数学建模研究眼瞳运动的相关性，为医学中的青光眼患者评估病程和恶化，以及研究注意力机制提供了研究方法。

Apr, 2024

我们开发了一种针对增强现实眼镜交互的消费级视觉 - 脑机接口系统，该系统由一个可穿戴硬件和一个软件框架组成，硬件重量轻，体积小，实现了高准确性和实时交互，软件框架具有模块化配置和可扩展性。

Aug, 2023

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

本文介绍了一份在罗马收集的视觉和感知研究数据集，包括 RGB 数据、3D 点云、IMU 和 GPS 数据，并引入了一个新的基准用于视觉里程计和 SLAM，以推进自主机器人和计算机视觉的研究。

Apr, 2024

尽管盲目的人脸修复（BFR）在图像上有了显著进展，但对于更复杂的面部动作（如移动凝视方向和面部朝向）的真实世界视频人脸修复（VFR）问题尚未解决。本研究引入了名为 FOS 的新的真实世界数据集，其中包含来自主要视频帧的 “全面的、遮挡的和侧面的” 面部，以研究当前方法在视频上的适用性。通过与已有测试数据集的比较，FOS 数据集涵盖了更多种类的退化，并涉及来自更复杂场景的人脸样本，从而更全面地重新审视了当前的人脸修复方法。

Apr, 2024