ICCVAug, 2023

FrozenRecon：基于冻结深度模型的无姿态三维场景重建

PDF
TL;DR我们提出了一种新的测试时间优化方法，可以将仿射不变深度模型的健壮性转移到具有挑战性的多样化场景，同时确保帧间一致性，每个视频帧只需优化几十个参数。实验证明，我们的方法在五个零样本测试数据集上实现了最先进的跨数据集重建。
3d scene reconstructiongeometry-based methodslearning-based methodsmonocular depth estimationtest-time optimization
发现论文，激发创造
  • 鲁棒的几何保持深度估计 - 使用可微分渲染

    通过混合数据集训练模型，预测几何保持的深度，并通过渲染重建场景的新视图以及设计损失函数，促进不同视角下深度估计的一致性，实现了对领域特定尺度和平移系数的自主恢复，优于现有最先进方法的多个基准数据集。

    Sep, 2023

  • SimpleRecon：无需 3D 卷积的 3D 重建

    通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。

    Aug, 2022

  • 从单张图片学习恢复三维场景形状

    研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题，并设计了一个两阶段框架以实现单目图像深度预测，并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的 3D 场景形状，本文提出了图像级标准化回归损失和基于法向几何损失的方法，以增强用混合数据集训练的深度预测模型，该深度模型在 9 个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。

    Dec, 2020

  • 从姿态中隐式学习场景几何用于全局定位

    通过利用少量的标签数据（即相机姿态），本文提出了一种学习方法，将这些标签与刚性对齐相结合，学习场景的三维几何表示，并将其用于估计相机的六自由度姿态，从而提高了定位的准确性。

    Dec, 2023

  • 朝着更好的泛化：无需使用 PoseNet 的联合深度和姿态学习

    通过解决自监督联合深度姿态学习中的比例不一致问题，我们提出了一种新颖的系统，利用了三角化模块来恢复比例到三维结构，并使用变换后的深度图对深度误差进行计算和复制 Projection Check 。

    Apr, 2020

  • 大规模场景中单目相机的深度、位姿和隐式场景表示的增量联合学习

    我们提出了一种增量联合学习框架，通过采用基于视觉变换器的网络作为主干来实现准确的深度、姿态估计和大规模场景重建，并构建了增量场景表示方法以增强三维场景表示的可伸缩性。

    Apr, 2024

  • 几何姿态可供性：带场景约束的三维人体姿态

    通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

    May, 2019

  • 自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

    本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

    Jul, 2020

  • 通过观察静止人物学习移动人物的深度

    提出一种数据驱动的方法，通过学习人体深度的先验知识和运动视差线索，实现场景中人物和单目相机自由移动时的密集深度预测。

    Apr, 2019

  • 无监督深度估计，3D 人脸旋转以及替换

    本文提出了一种无监督学习方法，通过推断面部关键点的深度来预测面部的三维结构和姿态变换，从而实现将面部从一个姿态、几何形状转换成另一个姿态、几何形状等多种功能；同时，探索了对该方法的不足之处，提出使用对抗图像翻译技术作为后处理步骤以重新合成不同姿态或身份的面部的完整头像。

    Mar, 2018