CVPRMar, 2020

MetaFuse：一种预训练的融合模型用于人体姿态估计

PDF
TL;DR该研究介绍了 MetaFuse，一种预先训练的交叉视图特征融合模型，通过使用大量摄像机进行元学习，提高了其对不同相机姿势的适应能力，并证实了其在实践中具有的价值。
cross view feature fusionhuman pose estimationmetafusepre-trained fusion modelpanoptic dataset
发现论文，激发创造
  • AdaFuse: 适应性多视角融合，用于野外准确人体姿态估计

    提出一种自适应多视角融合方法 AdaFuse 来提高 Human Pose Estimation 在遮挡背景下的准确性，其核心内容在于通过热图的稀疏性探索两个视图之间的点对应关系和学习每个摄像头视图的自适应融合权重，在公共数据集和大规模合成数据集上得到了比其他方法更优的结果。

    Oct, 2020

  • MetaPose: 无需 3D 监督，快速从多视图中获得 3D 姿态

    本文介绍如何使用神经网络模型进行多摄像头人体姿势估计，在考虑多角度遮挡及联合位置不确定性情况下，使用 2D 关键点数据进行训练。相比于经典捆绑调整与弱监督单目 3D 基线方法，我们的模型在 Human3.6M 和 Ski-Pose PTZ 数据集上表现更好。

    Aug, 2021

  • UMFuse: 面向人类编辑应用的统一多视图融合

    本文介绍一种基于多视角融合技术的人物造型编辑方法，通过多视角输入的关键点和纹理信息生成像素级外观检索图，并应用于多视角人物造型和人物图像混合等任务，研究单视角编辑的限制与多视角的优势。

    Nov, 2022

  • DeepFuse: 一种多视角图像下实时三维人体姿态估计的 IMU 感知网络

    本文提出一种名为 DeepFuse 的两阶段全 3D 网络，通过深度融合佩戴式 IMU 数据和多视角图像，实现人体姿态估计。其中第一阶段为纯视觉估计，第二阶段引入 IMU-bone 层，能在数据级别上进行 IMU 和视觉数据融合，不需要预先给出骨架模型。实验结果表明，该方法在各个数据集上均取得了优异的效果，未来有望成为 3D 姿态估计研究的重要方向。

    Dec, 2019

  • TransFusion：基于 Transformer 的跨视角三维人体姿态融合估计

    该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架，该框架可以直接整合来自不同视角的信息，以改善 2D 预测器的性能。同时，研究人员还提出了一个名为 Epipolar field 的概念，它可以将 3D 位置信息编码到变换器模型中。实验证明，该方法更加高效，与其他融合方法相比有一致的改进。

    Oct, 2021

  • 学习融合 2D 和 3D 图像线索用于单眼人体姿态估计

    该研究利用深度学习在单目 3D 人体姿势估计领域提出了一种新型结构，可以同时从图像中推算出 3D 关节坐标和 2D 关节位置，使用可训练的融合方案使信息得以最佳融合，从而在标准的 3D 人体姿势估计基准测试中大幅提高了现有技术水平。

    Nov, 2016

  • 三维人体姿态估计的跨视角融合

    该研究提出了一种基于多视角几何先验的方法，通过逐步改进三维姿态的准确性来从多视角图像中恢复绝对三维人体姿态。

    Sep, 2019

  • 基于外观的多视角凝视估计旋转约束交叉视图特征融合

    提出了一种多视角注视估计任务并跨视图特征融合的方法，通过使用相对旋转矩阵来训练网络提取可旋转的特征表示，并自适应地通过堆叠的融合模块融合这些特征，显著提高了模型在未见头部姿势下的泛化性能。

    May, 2023

  • 基于优化元学习的摄像头畸变感知视频中的 3D 人体姿态估计

    本文提出了一种利用 MAML 算法、通过生成二维关键点的合成畸变数据，快速适应任何畸变环境的三维人体姿态估计模型，并通过使用骨长对称性和一致性进行推断阶段优化，以便在测试阶段成功适应各种程度的畸变并超越现有技术。

    Nov, 2021

  • POSEFusion: 姿态引导的单视图人体体积捕获的选择性融合

    提出了一种单视角人体体积捕捉方法，名为 POSEFusion，该方法利用基于跟踪的方法和跟踪自由推断来实现高保真和动态的三维重建。通过新颖的重建框架包含姿势导向的关键帧选择和强大的隐式表面融合，该方法充分利用了基于跟踪的方法和跟踪自由推断方法的优点，并最终实现了动态表面细节的高保真重建，即使在不可见区域内。

    Mar, 2021