Sep, 2023

Diff-DOPE：可微分的深度目标姿态估计

PDF
TL;DR我们引入了 Diff-DOPE，这是一种 6 自由度姿态微调器，其输入为图像、一个物体的 3D 纹理模型和物体的初始姿态。这种方法使用可微渲染来更新物体姿态，以减小图像与模型投影之间的视觉误差，我们展示了这种简单且有效的想法能在姿态估计数据集上达到最先进的结果。我们的方法与最近的方法有所不同，最近的方法中姿态微调器是在大型合成数据集上训练的深度神经网络，用于将输入映射到微调步骤，而我们的可微渲染的使用使我们能够完全避免训练。我们的方法可以同时进行多个梯度下降优化，使用不同的随机学习率，以避免对称对象、相似外观或错误步长的局部最小值。可以使用各种模态，例如 RGB、深度、强度边缘和物体分割掩码。我们进行了一系列实验，研究了各种选项的效果，结果表明，当 RGB 图像与物体掩码和深度图像一起用于引导优化过程时，能获得最佳的结果。
发现论文，激发创造
  • DPOD：6D 姿态物体检测器和细化器

    本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法，称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图，通过 PnP 和 RANSAC 计算六自由度姿态，并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同，我们对合成数据和真实训练数据进行评估，显示出在所有最近的检测器中，此方法无论先前和后面都能够获得优异的结果。虽然具有精度，但本方法仍然具有实时性能。

    Feb, 2019

  • 6D 多目标姿态估计的耦合迭代优化

    提出了一种基于几何知识的端到端可微建构的方法，通过 BD-PnP 优化问题迭代地细化姿态估计和对应关系，并动态地删除离群值以提高准确性，从而在标准的 6D 物体姿态基准测试上实现了最新的准确性。

    Apr, 2022

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • DOPE: 野外全身三维姿态估计中的零件专家蒸馏

    DOPE 是第一种能够在复杂场景中检测和估计整体身体、手和面部 3D 姿势的方法，它利用独立的专家和蒸馏过程来训练整体姿势检测的单个深度神经网络，并在保持接近专家效果的同时实现了比大师集合更快的实时处理速度。

    Aug, 2020

  • DPODv2：基于密集对应的 6 自由度姿态估计

    本文提出了一种基于密集对应的三阶段六自由度物体检测方法，称为 DPODv2（密集姿势物体检测器），结合了 2D 物体检测与密集对应估计网络以及多视图姿态细化方法来估计完整的 6 自由度姿态，其使用了不同成像模式（RGB 或 Depth）作为输入。实验结果表明，RGB 成像在对应估计方面表现优异，而如果存在良好的 3D-3D 对应，则深度成像可提高姿势精度。

    Jul, 2022

  • D3PRefiner：一种基于扩散的 3D 人体姿势优化方法

    使用单眼相机进行三维人体姿态估计存在深度模糊问题，本文提出了一种基于扩散的三维姿态优化器 (D3PRefiner)，通过神经网络学习噪声姿态和真实姿态之间的映射关系，从而大幅提高当前的三维姿态估计性能。

    Jan, 2024

  • 6D-Diff: 一个用于 6D 物体姿态估计的关键点扩散框架

    基于扩散模型和逆扩散算法的 6D 物体姿态估计框架，在减少噪声和不确定性的基础上实现准确的 2D-3D 对应，并通过对物体特征进行条件优化，取得了较好的性能。

    Dec, 2023

  • RePOSE: 基于深度纹理渲染的快速 6D 物体姿态细化

    RePOSE 是一种快速的迭代精确定位 6D 物体姿态的方法，通过深浅层感知器的直接回归对象视觉无关图像表示，差分 LM 优化迭代得到姿态的最小特征度量误差，从而实现比现有技术更高的准确性，适用于要求计算速度的实时物体姿态估计。

    Apr, 2021

  • 基于扩散的人体姿态和形状编辑

    人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而，当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰，导致逼真度和人物身份的退化。我们提出了一种一次性方法，可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑，我们使用一个 3D 人体模型进行拟合，将输入图像投影到 3D 模型上，并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影，渲染图像经历了一种基于扩散的细化过程，在这个过程中，强噪声破坏了身体结构和身份，而不充分的噪声并没有起到帮助作用。因此，我们提出了一种迭代细化方法，首先对整个身体进行弱噪声处理，然后对脸部进行细化。通过自监督学习进一步增强了真实感，通过微调文本嵌入。我们的定量和定性评估表明，我们的方法在各种数据集上优于其他现有方法。

    Jan, 2024

  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023