Feb, 2024

CAPT: 使用 Transformer 从单个点云中进行类别级别的关节估计

PDF
TL;DR通过使用 Transformer 基于类别级别的点云进行关节参数估计，本文提出了 CAPT 方法。CAPT 方法利用端到端的 Transformer 架构对单个点云中的关节参数和状态进行估计，能够准确地估计各种关节物体的关节参数和状态，并通过引入动态特征加强了表达关节物体的运动特征的方法提高了关节估计性能。此外，该文介绍了一种双重投票策略，提供了从粗到细的参数估计框架，并通过在多个类别数据集上进行实验证明了我们方法在关节估计方面优于现有方法。我们的研究为在关节物体分析中应用基于 Transformer 架构提供了有希望的解决方案。
发现论文，激发创造
  • CAPTRA: 基于点云的刚体和关节物体类别级位姿跟踪

    该论文提出了一个统一的框架来处理品类、实例以及部位的姿态追踪问题，其中 9DoF 姿态表示通过 3D 错套边框实现。通过三个模块的组合提高 9DoF 姿态的精度达到了最优，成为了该领域的新的最优实践方法。

    Apr, 2021

  • 面向实际应用的类别级别姿态估计

    该研究提出了一种 CAPE-Real 任务设置，旨在解决真实环境下多实例、变化运动结构的各类关节对象建模问题。提出了 ReArtNOCS 框架，利用 RGB-D 输入单次向前推断多个实例的分层姿态估计，并在大规模混合现实数据集 ReArtMix 和真实世界数据集 ReArtVal 上进行了广泛实验证明其性能良好，将成为以后 CAPER 任务相关研究的强有力基准。

    May, 2021

  • PointCAT：点云的交叉注意力变换器

    本文提出了一种基于 Point Cross-Attention Transformer 的新型端到端网络结构，将多尺度特征通过两个不同的跨注意力变换器分支进行组合，并引入一种有效的形状分类模型，通过计算不同分支的单类标记与注意图来减少计算负担，实验表明该方法在形状分类，部分分割和语义分割任务中表现优异。

    Apr, 2023

  • CA$^2$T-Net: 单张图片的类别无关的三维骨骼动作迁移

    本研究使用神经网络方法实现单张图片到静止 3D 模型之间的运动转移，通过预测物体姿态、部件分割和相应的运动参数来复制输入图片中呈现的曲折运动，该方法适用于任意类别的物体且只用合成数据进行训练。

    Jan, 2023

  • Pose Anything: 基于图结构的类别无关姿态估计方法

    传统的 2D 姿态估计模型局限于其特定类别的设计，限定了其适用范围，对于新颖对象缺乏相关训练数据的情况尤其具有挑战性。为了应对这一局限性，引入了无类别限制的姿态估计（CAPE）方法，在仅需标注关键点的最小支持图像的情况下，实现了任意对象类别的关键点定位。我们提出了一种利用新设计的图转换解码器的 CAPE 新方法，通过捕捉和整合关键点之间固有的几何关系信息，进一步提高了关键点定位的准确性，与传统 CAPE 技术将关键点视为孤立实体的方式存在显著区别。我们在包含超过 100 个类别的 20,000 多张图像的 MP-100 基准数据集上验证了我们的方法，与之前最先进的方法相比，本方法在 1-shot 和 5-shot 设置下均取得了显著的改进，分别达到了 2.16％和 1.82％的提升。此外，与之前的 CAPE 方法相比，我们的方法的端对端训练表现出良好的可扩展性和效率。

    Nov, 2023

  • X-Trans2Cap：使用 Transformer 进行跨模态知识转移的 3D 密集字幕生成

    本研究提出一种名为 X-Trans2Cap 的 3D 密集字幕生成模型，通过跨模态知识转移实现对单模态 3D 字幕生成性能的有效提升，该模型使用 Transformer，并采用师生框架来构建。在实验中，通过对特征进行对齐和融合，提出的方法不仅能够快速地获取 2D 图像中的丰富且嵌入式的外观信息，而且能够在仅仅使用点云作为输入时生成更加忠实的描述性字幕。定性和定量结果证实，X-Trans2Cap 在 ScanRefer 和 Nr3D 数据集上的性能优于现有的最先进水平，分别提高了约 + 21 和约 + 16 absolute CIDEr 分数。

    Mar, 2022

  • 点云分析的双变换器

    本文提出了一种新颖的点云表示学习架构，称为 Dual Transformer Network (DTNet)，该架构主要包括一个 Dual Point Cloud Transformer (DPCT) 模块，该模块通过同时聚合点和通道的多头注意力机制，从位置和通道的语义角度捕获更丰富的上下文依赖性，有效地实现了三维点云分类和分割任务中的终端到终端分析。

    Apr, 2021

  • TransPose：基于几何感知的 Transformer 的 6D 物体姿态估计

    TransPose 是一个利用 Transformer 编码器和几何感知模块的 6D 姿态框架，用于提取和利用深度信息中的几何特征，以实现更准确的预测。通过统一采样点云，并借助设计的局部特征提取器和图卷积网络提取局部几何特征；采用 Transformer 进行全局信息交换，使每个局部特征包含全局信息；最后，在 Transformer 编码器中引入几何感知模块，为点云特征学习提供有效约束，并使全局信息交换与点云任务更加紧密结合。实验结果表明，通过 TransPose 的 6D 姿态估计管道在三个基准数据集上取得了有竞争力的结果。

    Oct, 2023

  • PARIS: 用于关节目标的部件级重建与运动分析

    给定两个静态关节状态下物体的多视图图像，我们提出了一种自我监督的、端到端的架构 PARIS，通过学习部分级隐式形状和外观模型，联合优化运动参数而无需任何 3D 监督、运动或语义标注，以解决关节物体的同时部分重建和运动参数估计的问题。

    Aug, 2023

  • TransPose: 基于 Transformer 的关键点定位

    本文介绍了一种名为 TransPose 的模型，它是用 Transformer 来进行人体姿态估计的，能够有效地捕捉长距离的关系以及细粒度的图像依赖关系，并通过产生热力图来进行关键点的定位。基于此，模型可以实现更快速的处理速度和更轻量化的模型结构。

    Dec, 2020