ICCVDec, 2023

TIFace：通过张量辐射场和隐式曲面改善面部重建

PDF
TL;DR通过使用张量辐射场（T-Face）和隐式表面（I-Face）的方法，我们提出了 TI-Face 来改进面部重建，包括通过强调前景掩码、设计基于掩码和稀疏性约束来有效消除渲染伪影，实验结果表明，提出的改进方法在面部重建上表现出了显著的效果和卓越的性能。
view synthesis challengehuman headsfacial reconstructionti-facerendering artifacts
发现论文，激发创造
  • TensoIR：张量反渲染

    TensoIR 是一种新的反渲染方法，基于张量分解和神经场，它可以从多视角图像中估计场景几何，表面反射和环境照明，从而实现逼真的新视角合成和重照结果。

    Apr, 2023

  • 可控的 3D 人体合成的表面对齐神经辐射场

    本研究提出了一种从稀疏的多视角 RGB 视频中重建可控的隐式 3D 人体模型的新方法，使用网格表面点和身体网格的符号距离来定义神经场景表示，并通过改进的顶点法线的重心插值将点投影到网格表面上，实现了更高质量的新视角和新姿势合成，同时支持容易控制的身体形状和服装。

    Jan, 2022

  • 形变神经辐射场一次高保真说话头合成

    本文提出了 HiDe-NeRF，其采用显式 3D 结构表示和隐式神经渲染来提高脸部表情和姿态的真实性，从而实现高保真和自由视角的说话头合成。

    Apr, 2023

  • TensoRF: 张量辐射场

    TensoRF 采用 4D 张量模型和基于 CP 分解和 VM 分解等技术去重构辐射场，实验结果表明在提高渲染质量的同时保持较小模型大小和更短的重构时间。

    Mar, 2022

  • 学习动态面部辐射场以进行少样本说话头合成

    本篇论文中，我们提出了一种名为 DFRT 的方法用于 few-shot 声音驱动下的面部融合。我们的方法使用 2D 图像来学习面部的先验知识，并且可以通过少量的训练数据应用于新的身份。同时，我们还提出了一种可微的面部扭曲模块以更好地建模面部变形。最终的实验结果表明，我们的方法可以在很短的时间内生成高质量的自然音频驱动的视频。

    Jul, 2022

  • 稀疏图像中三维人脸重建的鲁棒几何和反射分离

    本文提出了一种创新的两阶段方法，用于从稀疏视图图像重建人脸，该任务由于每个个体的独特几何和复杂皮肤反射而具有挑战性。我们的方法专注于从环境光中分解关键的面部属性，包括几何、漫反射和镜面反射。开始时，我们从多样化的个体脸部图像集创建一个通用的面部模板，捕捉关键的几何和反射特征。在第二阶段，我们在该模板的指导下对每个具体的人脸模型进行细化，进一步考虑几何和反射之间的相互作用，以及对面部皮肤的次表面散射效应。我们的方法能够从仅有的三幅图像中重建出高质量的面部表示，提供了改进的几何准确性和反射细节。通过全面的评估和比较，我们的方法表现出优越性，有效解离几何和反射成分，提高了合成新视图的质量，为再照明和反射编辑等应用开辟了可能。我们将代码公开可用。

    Dec, 2023

  • 从单目视频重建个性化语义面部 NeRF 模型

    使用神经辐射场的语义模型构建了一个逼真的人脸模型，可用于面部重定向和表情编辑。

    Oct, 2022

  • Simple-RF: 用更简单的解决方案规范稀疏输入辐射场

    通过设计较为简化的能力增强模型，我们观察到较好的深度监督效果，进而提高稀疏视图下的主要辐射场的视图合成性能。

    Apr, 2024

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • 触觉增强辐射场

    我们提出了一种场景表示，称为触觉增强辐射场（TaRF），将视觉和触觉结合到共享的 3D 空间中，通过估计场景中给定 3D 位置的视觉和触觉信号。我们通过使用多视角几何方法将触觉信号注册到捕获的视觉场景上，并训练了一个条件扩散模型，通过从神经辐射场渲染的 RGB-D 图像生成其相应的触觉信号。通过收集包含较多触觉样本的 TaRF 数据集，并为每个捕获的触觉信号提供空间对齐的视觉信号，我们评估了我们的方法的准确性和捕获的视觉 - 触觉数据在几个下游任务上的实用性。

    May, 2024