Nov, 2023

多视角几何变换器用于 3D 人体姿态估计

PDF
TL;DR我们的研究旨在提高 Transformer 的三维推理能力，在多视图三维人体姿势估计中。通过引入一种新的混合模型，MVGFormer，该模型采用一系列的几何和外观模块，以迭代方式组织。其中，几何模块通过几何方式处理依赖于视角的三维任务，显著改善了模型的泛化能力。外观模块是可学习的，并且专门用于从图像信号中端到端地估计二维姿势，即使在出现遮挡时也能获得准确的估计结果，从而实现了准确性和适用于新的摄像机和几何形状的模型。经过领域内外的评估，我们的模型始终优于最先进的方法，特别是在领域外的情况下有明显的优势。我们将发布代码和模型：this URL
3d reasoningtransformersmulti-view 3d human pose estimationgeometric informationocclusion
发现论文，激发创造
  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • MHFormer：多假设变压器用于三维人体姿态估计

    本文提出了一种名为 Multi-Hypothesis Transformer (MHFormer) 的模型，旨在通过学习多个合理的姿势假设的空时表示，解决单目视频中的 3D 人体姿态估计问题，并在两个具有挑战性的数据集上取得了最新的最优结果。

    Nov, 2021

  • MVSFormer++：揭示多视角立体匹配中 Transformer 细节中的问题

    近期基于学习的多视点立体（MVS）方法中，引入了具有注意机制的基于 Transformer 模型的最新进展；然而，现有方法对 Transformer 在不同 MVS 模块上的深远影响尚未进行彻底研究，导致深度估计能力有限。本文提出了 MVSFormer++ 方法，通过充分利用注意机制固有特性增强 MVS 流程的各个组成部分，将跨视图信息融入预训练的 DINOv2 模型以促进 MVS 学习，并采用不同的注意机制对特征编码器和代价体积正则化进行处理，分别关注特征和空间聚合。此外，我们发现一些设计细节会极大地影响 Transformer 模块在 MVS 中的性能，包括归一化的三维位置编码、自适应注意力缩放和层归一化的位置。在 DTU、Tanks-and-Temples、BlendedMVS 和 ETH3D 上进行的综合实验验证了所提出方法的有效性。值得注意的是，MVSFormer++ 在具有挑战性的 DTU 和 Tanks-and-Temples 基准上实现了最先进的性能。

    Jan, 2024

  • MotionAGFormer: 基于 Transformer-GCNFormer 网络的 3D 人体姿势估计增强

    我们提出了一种新颖的 Attention-GCNFormer（AGFormer）模块，通过使用两个并行的 Transformer 和 GCNFormer 流来减少通道数，以精确捕捉邻接关节之间的局部依赖关系。通过以适应性方式融合这两种表示，AGFormer 模块在学习底层 3D 结构方面表现出更好的能力。通过堆叠多个 AGFormer 模块，我们提出了四个不同变体的 MotionAGFormer 模型，可以根据速度 - 准确性的权衡来选择。我们在两个常用基准数据集 Human3.6M 和 MPI-INF-3DHP 上评估了我们的模型。MotionAGFormer-B 取得了最先进的结果，分别为 38.4mm 和 16.2mm 的 P1 错误率。值得注意的是，与 Human3.6M 数据集上的前一最先进模型相比，它使用了四分之一的参数，并且计算效率提高了三倍。该模型的代码和模型可在指定的网址上获得。

    Oct, 2023

  • 通用三维姿势转移的几何对比变换器

    本研究提出了一种定制的三维网格 Transformer 模型，用于姿态转移任务，并在全局和局部上提高了几何不一致性的学习，从而实现了三维姿态转移，并推广到从未知空间的具有挑战性的网格上的交叉数据集任务。

    Dec, 2021

  • 直接多视角多人三维姿态估计

    该研究提出了一种名为 MvP 的多视角姿态变换器，用于从多视角图像中估计多人的三维姿态，该方法可以直接回归多人三维姿态，并使用几种技术来提高准确性，该模型在多项指标上表现优秀。

    Nov, 2021

  • 一种适用于多视角三维人体姿态回归的常规方法

    提出使用多视角和单视角数据训练的两阶段方法来检测和估计 3D 人体姿势，通过将数据进行正确的分类来构建准确的模型，避免了数据采集难题。该方法在 Human3.6M 数据集上获得了竞争性的结果，并在 MV 临床数据集上显著提高了结果。

    Apr, 2018

  • 三维视觉对接的多视图 Transformer

    这篇论文提出了一种基于多视角变换器（MVT）的方法，将 3D 场景投影到多视角空间中，学习一种更为稳健的多模态表示形式，从而消除特定视角的依赖，并在实验中表现出比现有方法更好的性能。

    Apr, 2022

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • GeoMFormer：一种用于几何分子表示学习的通用架构

    通过 GeoMFormer 这一基于 Transformer 的分子模型，在维持和学习不变和等变表示的同时，通过精心设计的交叉注意力模块实现信息融合和增强几何建模，以提高不同类型和规模的不变和等变任务的性能。

    Jun, 2024