ICCVSep, 2023

三维隐式运输器用于时态一致的关键点发现

PDF
TL;DR采用关键点为基础的表征在各种视觉和机器人任务中证明了优势。然而，现有的二维和三维关键点检测方法主要依赖几何一致性实现空间对齐，忽视了时间一致性。为了解决这个问题，介绍了用于二维数据的传输器方法，从源帧重构目标帧以包含空间和时间信息。然而，将传输器直接应用于三维点云由于其与二维图像的结构差异而不可行。因此，我们提出了第一个三维版本的传输器，它利用混合三维表示、交叉关注和隐式重构。我们将这个新的学习系统应用于三维关节对象和非刚性动物（人类和啮齿动物），并展示了学到的关键点在时空上的一致性。此外，我们提出了一种闭环控制策略，利用学到的关键点进行三维物体操作，并展示了其卓越性能。代码可在此 https URL 获取。
keypoint-based representationgeometric consistencytemporal consistencytransporter method3d point clouds
发现论文，激发创造
  • 基于无监督学习的目标关键点感知与控制

    本研究旨在学习控制和强化学习（RL）有用的对象表示。我们介绍了 Transporter，这是一种神经网络体系结构，用于以关键点或图像空间坐标的形式发现简明的几何对象表示。

    Jun, 2019

  • CT3D++：基于关键点引导的通道注意力变换提升 3D 物体检测

    通过引入两个旨在准确高效地检测和定位三维空间中物体的 3D 物体检测框架，本文目的是解决当前 3D 检测的灵活性和可伸缩性不足的问题，并在 KITTI 数据集和大规模 Waymo 数据集上取得最先进的性能。

    Jun, 2024

  • 运输网络：为机器人操作重构视觉世界

    本文提出了 Transporter Network，一种简单的模型体系结构，它可以重新排列深层特征以从视觉输入中推断出空间位移，使得机器人的行动具有参数化，是一种可以表示复杂的多模式策略分布并推广到多步顺序任务的方法，并且采样效率比基准方法快数个数量级。

    Oct, 2020

  • PTT：用于高效时序三维物体检测的点轨迹变换器

    提出了一种基于时间 LiDAR 的三维物体检测方法，利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆，实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验，证明了该方法在性能上优于现有的方法。

    Dec, 2023

  • 通过端到端几何推理发现潜在的三维关键点

    本文提出了 KeypointNet，这是一个端到端的几何推理框架，用于学习一组最优的类别特定 3D 关键点及其检测器。 通过对一张单独图片，KeypointNet 提取出用于下游任务优化的 3D 关键点，我们在 3D 姿势估计方面展示了这种框架，并提出了一个可微的目标，以寻求在两个对象视图之间恢复相对姿态的最佳关键点集。我们的模型在对象类别的不同视角和实例之间发现了几何和语义一致的关键点，重要的是，我们发现我们的端到端框架在不使用地面真值关键点注释的情况下胜过使用相同神经网络架构的完全监督基线在姿势估计任务上，在 ShapeNet 的汽车，椅子和飞机类别上可视化出发现的 3D 关键点。

    Jul, 2018

  • 使用隐式表示学习进行 3D 关键点估计

    本研究采用新颖的隐式表示方法解决了通用物体的 3D 关键点估计问题，通过使用球来表示 3D 关键点，以此实现对应的带符号距离场的可学习性，并基于 Hough 变换后提取出显式的关键点。实验结果表明，该表示方法在预测精度方面具有优越性。

    Jun, 2023

  • 关键点辅助的弱监督三维姿势迁移

    三维姿势转换的主要挑战是：1）没有不同角色执行相同姿势的配对训练数据；2）从目标网格中分离姿势和形状信息；3）难以应用于具有不同拓扑结构的网格。因此，我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言，我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督，可以应用于具有不同拓扑结构的网格，并且对于目标来说是形状不变的，可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换，而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法，在那里与最先进的无监督方法相比达到了卓越的性能，甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试，以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。

    Jul, 2023

  • 立体三维物体跟踪的联合时空优化

    通过深度神经网络强大的目标理解，同时处理精确几何建模的一致轨迹估计，提出了一种基于联合时空优化的立体 3D 对象跟踪方法，在 KITTI 跟踪数据集上取得显著优于先前方法的定量评估结果，并在多个类别和大型数据集（KITTI 原始和 Argoverse 跟踪）上进行了广泛的结果报告以供未来基准测试。

    Apr, 2020

  • 使用通道式 Transformer 提高 3D 目标检测

    本文中，我们提出了一种改进的两阶段 3D 目标检测框架 CT3D，其中利用高质量的区域提议网络和基于通道的 Transformer 架构来同时执行提议感知嵌入和通道方式的上下文聚合，以获取更准确的目标预测，具有优秀的性能和可伸缩性，尤其是在 KITTI 测试 3D 检测基准中，众车类别的 AP 为 81.77％，优于现有最先进的 3D 检测器。

    Aug, 2021

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024