Dec, 2020

从单张图片学习恢复三维场景形状

PDF
TL;DR研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题，并设计了一个两阶段框架以实现单目图像深度预测，并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的 3D 场景形状，本文提出了图像级标准化回归损失和基于法向几何损失的方法，以增强用混合数据集训练的深度预测模型，该深度模型在 9 个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。
发现论文，激发创造
  • 鲁棒的几何保持深度估计 - 使用可微分渲染

    通过混合数据集训练模型，预测几何保持的深度，并通过渲染重建场景的新视图以及设计损失函数，促进不同视角下深度估计的一致性，实现了对领域特定尺度和平移系数的自主恢复，优于现有最先进方法的多个基准数据集。

    Sep, 2023

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020

  • FrozenRecon：基于冻结深度模型的无姿态三维场景重建

    我们提出了一种新的测试时间优化方法，可以将仿射不变深度模型的健壮性转移到具有挑战性的多样化场景，同时确保帧间一致性，每个视频帧只需优化几十个参数。实验证明，我们的方法在五个零样本测试数据集上实现了最先进的跨数据集重建。

    Aug, 2023

  • 从单目视频序列中学习深度

    从单目视频序列中学习单张图像深度估计模型是一个非常具有挑战性的问题。在本文中，我们提出了一种新颖的训练损失，使我们能够在训练过程中包含更多图像以进行监督。我们提出了一个简单而有效的模型来考虑帧与帧之间的像素运动。同时，我们还设计了一种新颖的网络架构来进行单张图像估计。当结合在一起时，我们的方法在自监督设置下，在 KITTI 数据集上产生了最先进的结果。

    Oct, 2023

  • Metric3D：基于单张图片的零样本度量三维预测

    基于大规模数据训练和解决来自不同摄像机模型的度量歧义，实现了在野外图像中无需训练即可广义泛化的单视图度量深度模型，并在 7 个零样本基准测试上展现了领先表现。

    Jul, 2023

  • 无监督单目深度估计与左右一致性

    本研究提出一种基于卷积神经网络的单张图像深度估计方法，使用更容易获取的双目立体视觉图像替代需要大量对应地面真实深度数据的监督式回归训练，通过利用同一场景下两个视点的对极约束，生成视差图，并利用一种新的训练目标函数，结合左右两张图像的视差图像互相匹配和校准，提高了深度估计的性能表现，从而实现了在 KITTI 数据集上的单张图像深度估计的最新领先水平，甚至超过了基于真实深度训练的监督式方法。

    Sep, 2016

  • DiverseDepth：利用多样数据进行仿射不变深度预测

    本文提供了一种使用单目图像进行深度估计的方法，提供了一个大规模且多样化的数据集 Diverse Scene Depth 进行训练，学习到了不受仿射变换影响的深度信息，并通过多分支课程训练实现了对复杂场景的高质量深度恢复。

    Feb, 2020

  • 无监督卷积神经网络用于单视角深度估计：几何的拯救

    本文提出了一种基于自编码器的无监督深度卷积神经网络学习框架，通过训练不需要预训练或注释的神经网络，为单视图深度预测提供了一种新的方法。

    Mar, 2016

  • 朝着零样本比例感知单目深度估计的方向

    本文提出了一种称为 ZeroDepth 的单目深度估计框架，采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果，优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。

    Jun, 2023

  • 从单目图像中恢复 3D 人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架 / 训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式：优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022