AAAIJan, 2022

通过学习隐式函数从多视角图像中恢复详细的面部几何形状

PDF
TL;DR本文提出了一种新型架构来在数十秒内恢复极其详细的 3D 人脸，通过在多视图图像中拟合一个 3D 可塑模型，提取并聚合多个图像的特征，学习一种用于回归匹配成本的隐式函数。与先前的学习方法相比，在 FaceScape 数据集上准确性更高。
发现论文，激发创造
  • MVF-Net: 多视角 3D 人脸可塑模型回归

    本文提出一种基于卷积神经网络和多视图图像的 3D 人脸重建方法，使用自监督的视角对齐损失来减少视图之间对齐误差，并使用光流法预测 3D 形状，实现更好的 3D 重建结果。

    Apr, 2019

  • 通过解离几何和外观来进行多视图神经表面重建

    本文介绍一种神经网络架构，通过联合学习未知几何形状、相机参数和神经渲染器，能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状，并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况，具有广泛的光照和材质建模能力。

    Mar, 2020

  • 多视图重建中通过体渲染学习拓扑统一的人脸网格

    我们提出了一种面向多视角重建的具有一致拓扑的面网格的网格体渲染方法，通过将稀疏网格特征扩散到周围空间以模拟体渲染所需的辐射场，从而实现对网格几何和隐式外观特征的梯度反向传播，并展示了变形不变性的特性以实现网格编辑后的逼真渲染。

    Apr, 2024

  • DeepMVS: 学习多视角立体视觉

    DeepMVS 是一种用于多视图立体重建的深度卷积神经网络 (ConvNet)，它可以对任意数量的姿态图像进行处理以预测高质量的视差图，其有效的信息聚合方法和采用 VGG-19 网络的多层特征激活实现了优异的效果。

    Apr, 2018

  • MVSBoost：一种高效的基于点云的 3D 重建

    通过结合多视角全景图像、鲁棒的相机位姿估计、先进的图像处理以及点云密度化、网格重建和纹理生成等技术，本论文提出了一个增强型的多视角立体重建框架，显著提高了传统方法的准确性和精度，在处理遮挡和视角变化的复杂场景重建方面表现出了优异的计算效率和鲁棒性，对于实时处理和可扩展性要求高的情况，可以与当前最先进的神经隐式场方法相竞争甚至超越。

    Jun, 2024

  • 使用体积采样进行拓扑一致的多视角人脸推断

    该论文提出了一种名为 ToFu 的几何推理框架，它使用一种体积表示法来生成面部网格，可以跨面部身份和表情产生具有拓扑一致性的网格。该方法通过考虑面部几何学特征，采用从粗到细的神经网络结构来实现稠密准确的面部网格预测，并在 pore-level 几何细节方面捕捉位移图，以生成高质量的渲染效果。

    Oct, 2021

  • 轻量级光度立体成像技术用于面部细节恢复

    在这篇论文中，我们提出了一种基于光度立体技术的轻量级策略，仅需要稀疏输入或单个图像即可恢复近场光下高保真度的面部形态。通过构建包含 84 个不同主题和 29 种表情的数据集，我们提出了一个专门设计用于光度立体基于 3D 面部重建的新型神经网络。广泛的实验和比较表明，我们的方法可以生成高质量的重建结果。

    Mar, 2020

  • 通过强健的光度一致性学习无监督的多视图立体成像

    提出了一种基于学习的多视点立体感知方法，可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练，并且可以通过无监督的微调实现对新数据集的适应。

    May, 2019

  • MVSNet: 不规则多视图立体的深度推断

    本文提出了一种用于计算多视图深度图的端到端深度学习框架 (MVSNet)，首先提取深度视觉图像特征，然后利用不同 iable homography 变形构建 3D 成本体积，并使用 3D 卷积对初始深度图进行规则化和回归，最终与参考图像相结合生成最终输出，其通过引入基于方差的成本度量来适应任意 N-view 输入， 其表现优于现有同类方法并能很好地泛化于室内室外数据。

    Apr, 2018

  • 从单张图像中学习详细的人脸重建

    本文介绍了一种使用卷积神经网络构建面部几何细节的方法，包括由粗到细的两个网络模块和多阶段的训练阶段，可以从单张图像中提取面部表面。

    Nov, 2016