CVPRMar, 2022

基于时间特征对齐与互信息最大化的基于视频的人体姿态估计

PDF
TL;DR本研究提出一种分层对齐框架，对多帧人体姿态估计问题进行了深入研究，利用视觉证据、知识提取和互信息等方法，在 PoseTrack2017、Sub-JHMDB 和 Pose-Track2018 等数据集上取得了最先进的性能表现。
multi-frame human pose estimationvisual evidencehierarchical alignment frameworkknowledge extractionmutual information
发现论文，激发创造
  • 基于互信息的时序差异学习在视频人体姿态估计中的应用

    本论文提出了一种新的多帧人体姿势估计框架，利用时间差异跨帧建模动态环境，利用互信息来促进实用运动信息的分离，并在基准数据集上获得排名第一和最优性能。

    Mar, 2023

  • 视频中高效姿势估计的关键帧提取网络

    本文提出一种将局部信息和全局信息相结合的方法，使用轻量级的无监督关键帧提出网络 (K-FPN) 来选择含有代表性信息的帧，再使用学习的字典来恢复整个动作序列的人体姿态估计算法。在实验中，该方法在 Penn Action 和 sub-JHMDB 数据集上达到了最佳准确率，并实现了大量的速度提升。

    Jul, 2020

  • 姿态选择最大池化测量相似性

    本研究针对视频人脸识别中的身份相似度计算中的两大挑战：头部姿态在未受控制的环境下的变化和视频处理的计算复杂度，提出通过保留视频的整体姿态和距离以及减少深度特征分析，测评视频身份相似度的算法，可以达到与 VGG-face 相当的识别率，并在其他视觉任务中也能受益于使用几何线索来提高深度特征的描述能力。

    Sep, 2016

  • 深度双连续网络用于人体姿态估计

    本文提出了一种基于多帧和时序信息的人体姿态估计方法。该方法包含三个模块：姿态时序合成器、姿态残差融合模块和姿态校正网络。在 PoseTrack2017 和 PoseTrack2018 数据集上进行的实验结果表明，该方法取得了最佳效果，并已发布代码以期促进未来的研究。

    Mar, 2021

  • 无监督跨模态对齐用于多人三维姿态估计

    通过使用新颖的神经表示，我们提出了一种部署友好的、快速的自下而上的多人三维人体姿态估计框架；进一步，我们基于跨模态的对齐问题，提出了一种实用的部署范式，使得我们的模型不仅能够处理现实世界的图像，而且在速度与性能之间实现了更好的平衡。

    Aug, 2020

  • 增强时空上下文：单目视频中具有时态一致性的稳健 3D 人体动作恢复

    提出了一种从单眼视频中恢复时间一致的 3D 人体姿势、形状和动作的方法，通过使用具有身体感知特征表示和独立的逐帧姿势和相机初始化，结合自相似性和自注意力等技术进行时空特征聚合，该方法提供了增强的时空上下文，可在各种复杂场景下得到更准确的姿势估计和形状重建。

    Nov, 2023

  • 通过对比交叉视图互信息最大化学习视角解离人体姿态表征

    该研究提出一种新颖的表示学习方法，在交叉视角相互信息最大化的训练下，从 2D 人体姿势中区分依赖于姿势和视角的因素，并且追加两个正则化项以确保所学习的表示的分离和平滑性，并将其应用于交叉视角的动作识别中。

    Dec, 2020

  • 基于帧聚合和多模态融合的视频人员识别框架

    通过 Frame Aggregation and Multi-Modal Fusion framework 框架，将注意力机制引入 NetVLAD 模块进行视频内的人物识别，同时引入了 Multi-Layer Multi-Modal Attention 模块进行多模态相关性建模，实验结果表明该方法优于其他现有方法。

    Oct, 2020

  • 实现超过 100 FPS 的多人 3D 姿态估计的跨视图跟踪

    本论文提出了一种基于多个校准相机视角的、面向实时应用的多人三维姿态估计解决方案，利用视频中的时间一致性直接在三维空间中匹配二维输入与三维姿态，通过跨视图多人跟踪迭代地更新姿态，从而提高了准确性和效率，并介绍了新的大规模多人数据集。

    Mar, 2020

  • 从运动补偿序列中直接预测 3D 身体姿态

    本文提出了一种高效利用视频序列中连续帧运动信息来恢复人的三维姿态的方法，并通过回归边界框的时空体到中心帧的 3D 姿势来改进现有方法。同时，为了最大限度地发挥这种方法的潜力，本文阐明必须补偿连续帧中的运动，以使被测量者保持中心，从而能够有效地消除歧义并在 Human3.6m、HumanEva 和 KTH Multiview Football 3D 人体姿态估计基准测试中取得显著改进。

    Nov, 2015