Oct, 2020

AdaFuse: 适应性多视角融合，用于野外准确人体姿态估计

PDF
TL;DR提出一种自适应多视角融合方法 AdaFuse 来提高 Human Pose Estimation 在遮挡背景下的准确性，其核心内容在于通过热图的稀疏性探索两个视图之间的点对应关系和学习每个摄像头视图的自适应融合权重，在公共数据集和大规模合成数据集上得到了比其他方法更优的结果。
human pose estimationocclusionmultiview fusionadaptive fusion weightsparsity of heatmap
发现论文，激发创造
  • DeepFuse: 一种多视角图像下实时三维人体姿态估计的 IMU 感知网络

    本文提出一种名为 DeepFuse 的两阶段全 3D 网络，通过深度融合佩戴式 IMU 数据和多视角图像，实现人体姿态估计。其中第一阶段为纯视觉估计，第二阶段引入 IMU-bone 层，能在数据级别上进行 IMU 和视觉数据融合，不需要预先给出骨架模型。实验结果表明，该方法在各个数据集上均取得了优异的效果，未来有望成为 3D 姿态估计研究的重要方向。

    Dec, 2019

  • MetaFuse：一种预训练的融合模型用于人体姿态估计

    该研究介绍了 MetaFuse，一种预先训练的交叉视图特征融合模型，通过使用大量摄像机进行元学习，提高了其对不同相机姿势的适应能力，并证实了其在实践中具有的价值。

    Mar, 2020

  • UMFuse: 面向人类编辑应用的统一多视图融合

    本文介绍一种基于多视角融合技术的人物造型编辑方法，通过多视角输入的关键点和纹理信息生成像素级外观检索图，并应用于多视角人物造型和人物图像混合等任务，研究单视角编辑的限制与多视角的优势。

    Nov, 2022

  • 遮挡人体姿态估计的全面框架

    本文提出了一个综合框架 DAG (Data, Attention, Graph)，用于解决因遮挡引起的性能降级问题。通过模拟遮挡场景，引入了掩蔽关节与实例粘贴数据增强技术；通过自适应判别注意力模块 (ADAM) 有效增强目标个体的特征；通过特征引导的多跳图卷积网络 (FGMP-GCN) 充分探索身体结构的先验知识，并提高姿势估计结果。通过在三个用于遮挡人体姿势估计的基准数据集上进行了广泛的实验，我们证明了所提出的方法优于现有的方法。代码和数据将公开提供。

    Dec, 2023

  • OcclusionFusion: 针对遮挡感知的实时动态 3D 重建运动估计

    本文提出了一种名为 OcclusionFusion 的新方法，使用一种基于 LSTM 图神经网络的遮挡感知 3D 运动来指导实时重建，实验证明该方法的性能比现有的基于单视角的方法要好得多。

    Mar, 2022

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 自主驾驶的单视图和多视图深度的自适应融合

    本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统，同时提出了一个自适应融合深度估计系统，通过动态选择两个分支之间的高置信度区域进行融合，以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法，并在挑战性基准（KITTI 和 DDAD）上实现了最先进的性能，假设具有准确的位姿估计。

    Mar, 2024

  • 融合可穿戴 IMU 与多视角图像用于人体姿态估计：一种几何方法

    采用几个附着在人体肢体上的 IMUs 和多视图图像估计人类的 3D 姿态并提出了一种基于几何学的方法，用于增强每对关节的视觉特征并使用它们将多视图 2D 姿势提升到 3D 空间中，这种方法称为方向正则化网络（ORN）。

    Mar, 2020

  • POSEFusion: 姿态引导的单视图人体体积捕获的选择性融合

    提出了一种单视角人体体积捕捉方法，名为 POSEFusion，该方法利用基于跟踪的方法和跟踪自由推断来实现高保真和动态的三维重建。通过新颖的重建框架包含姿势导向的关键帧选择和强大的隐式表面融合，该方法充分利用了基于跟踪的方法和跟踪自由推断方法的优点，并最终实现了动态表面细节的高保真重建，即使在不可见区域内。

    Mar, 2021

  • 人体姿态估计在现实世界拥挤场景中的应用

    本论文针对人群姿态估计的问题，提出了通过数据增强方法、显式识别遮挡的身体部位和使用合成数据集来优化姿态估计。论文的实验结果表明这些方法提高了模型的准确性，使其在人群场景下获得了与当前最先进方法相媲美的结果。

    Jul, 2019