ECCVJul, 2020

自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

PDF
TL;DR本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。
monocular 3d face reconstructionself-supervised training architecturemulti-view geometry consistencyloss functionsface alignment
发现论文，激发创造
  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 自监督多层面部模型学习，在超过 250 Hz 的单目重建中

    本论文提出了一种基于联合学习参数人脸模型和面部形状、表情、反射和照明的回归器的方法，其结合了 3D 可塑模型（3D Morphable Model）的优点和学习校正空间的空外推广优点。

    Dec, 2017

  • 自监督学习的深度和运动在光度不一致下的训练

    本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法，该方法不需要基础数据的支持，增加了更强的几何量和时间图像序列内部一致性的约束条件，能够显著提高单目图像序列深度和相对姿态估计的性能。

    Sep, 2019

  • 基于单目神经网络的连续视角控制图像渲染

    本文提出了一个自监督学习的方法，通过深度引导的调整过程，利用变换自编码器的网络结构，在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角，并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估，证明了该方法的广泛适用性。

    Jan, 2019

  • 通过强健的光度一致性学习无监督的多视图立体成像

    提出了一种基于学习的多视点立体感知方法，可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练，并且可以通过无监督的微调实现对新数据集的适应。

    May, 2019

  • 弱监督学习下的精确三维人脸重构：从单张图像到图像集

    本文提出了一种使用深度学习技术进行 3D 面部重建的新方法，其中使用了混合损失函数进行弱监督学习，同时利用多个图像进行面部重建，实现了快速、准确、鲁棒的重建效果，对不同数据集进行了综合实验，并与 15 种现有方法进行了比较，证明了其性能处于领先地位。

    Mar, 2019

  • 自监督单目深度的语义引导表示学习

    本文研究自监督学习中如何直接运用语义结构来指导几何表示的学习，提出了一种新的基于预训练语义分割网络和像素自适应卷积的架构，并使用两阶段训练过程来克服动态对象上的常见语义偏差。结果表明该方法在所有像素、细节和语义类别上都优于现有方法，实现了自监督单目深度预测的最新水平。

    Feb, 2020

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • 基于语义一致性的自监督单视图 3D 重建

    我们提出了一种自监督的，单视图三维重建模型，通过 2D 图像和物体的轮廓预测目标物体的 3D 网格形状、纹理和相机姿势，该方法不需要三维监督，手动注释的关键点，物体的多视图图像或先前的 3D 模板，通过自监督地学习分类特定图像的部分分割，我们可以在重建网格与原始图像之间有效强制实现语义一致性，从而大大减少了模型在预测物体形状、纹理和相机姿态时的歧义，并且我们的模型可以不需要这些标签而轻松地推广到各种物体类别。

    Mar, 2020