Jun, 2023

使用隐式表示学习进行 3D 关键点估计

PDF
TL;DR本研究采用新颖的隐式表示方法解决了通用物体的 3D 关键点估计问题，通过使用球来表示 3D 关键点，以此实现对应的带符号距离场的可学习性，并基于 Hough 变换后提取出显式的关键点。实验结果表明，该表示方法在预测精度方面具有优越性。
3d keypoint estimationimplicit representationsphereshough transformprediction accuracy
发现论文，激发创造
  • Ki-Pode: 基于关键点的刚性物体隐式姿态分布估计

    本文提出一种旨在处理 6D 姿态估计中的姿态歧义问题的新方法，通过构建一个对象关键点的中介表示来实现概率分布的隐式形式推导，并对 YCB-V 和 T-LESS 数据集中的旋转分布估计任务进行评估。

    Sep, 2022

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 关键点预测下的目标姿态自监督学习

    本文提出了一种基于自监督学习的关键点预测方法来进行相机位姿预测及三维目标物体的在线重建的深度学习网络，并在几个数据集上进行了实验，取得了显著的改进。

    Feb, 2023

  • 从视频中无监督学习物体结构和动力学

    本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

    Jun, 2019

  • 通过姿态估计和匹配实现通用三维表示

    本文针对 3D 图像生成开展了探索，提出了一种基于多任务卷积神经网络的通用 3D 方案。通过建立代理 3D 任务来提供训练，神经网络在完成核心问题的同时也具备泛化能力和抽象能力，并在多个场景取得了超越 SIFT 等方法的成果。

    Oct, 2017

  • 基于关键点几何推理的单目三维物体检测

    本篇研究提出了一种基于关键点的方法，利用单个 RGB 图像进行三维目标检测和定位，该网络基于 2D 关键点检测和几何推理方法，同时估计 2D 特征和全局 3D 姿态，最终在 KITTI 数据集中达到了最好的性能表现。

    May, 2019

  • 使用多视角关键点对应估计单目图像中的物体姿态

    利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。

    Sep, 2018

  • 无监督学习用于控制的视觉三维关键点

    该文介绍了一种学习 3D 几何结构的算法，可用于从高维图像中学习感觉运动控制策略，其发现的 3D 关键点能够在时间和 3D 空间上一致地捕获机器人关节和物体移动，成果在强化学习基准测试中优于之前的最佳方法。

    Jun, 2021

  • 无监督几何感知表示用于三维人体姿态估计

    本文提出使用多视角图像而无需注释，来学习一个具有几何感知能力的身体表示，通过使用该身体表示，我们的方法在仅使用少量标记数据的情况下，显著优于完全监督的方法，并且在使用仅 1% 标记数据时，也优于其他半监督方法。

    Apr, 2018

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021