HUMAN4D 是一种多模态体积数据集，提供了关于人类日常、物理和社交活动的各种姿势和动作的数据，同时提供多 RGBD、音频和音量数据。该数据集的介绍旨在推动计算机视觉和图形研究社区对空间和时间对齐的姿势、音量、mRGBD 和音频数据线索的联合研究，同时提供了人类姿势估计和三维压缩等方面的评估基线。

Oct, 2021

本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法，该方法不仅可以实现高质量、连续的重建，而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数，实验结果表明，该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。

May, 2021

本文描述和分析了第一个包含多个人和场景互动的全景体数据集并附加数据工具

Mar, 2023

本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法，该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态，使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感，并通过在 3DMM 几何上锚定的局部特征来预测，通过 3DMM 变形驱动，插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的，可以整合空间上下文和产生代表性的局部特征。大量实验表明，与其他最先进的方法相比，我们能够重建高质量的头像，并具有更准确的表情依赖细节，更好地推广到训练之外的表情和数量上优秀的渲染效果。

Apr, 2023

本文提出一种利用神经放射场和局部像素对齐特征预测人头部的体积化代理，可以在多身份环境中进行泛化，并且无需明确的 3D 监督。该方法在以光度渲染损失为基础的端到端训练中表现出更好的质量，并且能够生成真实的面部表情。

Jan, 2021

本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

Jul, 2017

使用虚拟现实环境和 VR 恐怖游戏作为媒介，通过收集来自 23 位玩家的多模态数据，利用基于 LSTM 模型预测恐惧情绪，其中 6 级分类准确度为 65.31％，2 级分类准确度为 90.47％，并构建了一个多模态自然行为数据集 VRMN-bD，用于 VR 站立交互环境中的恐惧和行为研究，研究结果表明该数据集在收集方法、数据规模和受众范围方面具有较少限制。

Jan, 2024

提出使用一台 RGBD 相机综合已获取的图像数据生成自由视角视频的方法。该方法通过半参数模型结合深度神经网络的技术实现 4D 表演捕捉，从而为 AR / VR 内容生成提供高逼真度的渲染效果。

May, 2019

基于单目视频输入，本研究提出了一种名为 360° 体积肖像（3VP）头像的新方法，该方法用于重建 360° 全景真实头像，以模板为基础跟踪躯干、头部和面部表情，训练基于神经辐射场的神经体积表示，解决了外观变化模型中特别是嘴唇和牙齿区域的挑战，评估了实际采集的数据并与最先进的单目重建方法进行了比较。

Dec, 2023

本文发现，缺少可用于训练和测试信号处理和机器学习算法的具有代表性的数据集，介绍并放出了一个包含超过 5 小时多模态数据的数据集，以便建立多模态 AR 方案以减少鸡尾酒会效应。

Jul, 2021