CVPRMar, 2023

基于互信息的时序差异学习在视频人体姿态估计中的应用

PDF
TL;DR本论文提出了一种新的多帧人体姿势估计框架，利用时间差异跨帧建模动态环境，利用互信息来促进实用运动信息的分离，并在基准数据集上获得排名第一和最优性能。
multi-frame human posetemporal modelingmotion informationmutual informationrepresentation disentanglement
发现论文，激发创造
  • 基于时间特征对齐与互信息最大化的基于视频的人体姿态估计

    本研究提出一种分层对齐框架，对多帧人体姿态估计问题进行了深入研究，利用视觉证据、知识提取和互信息等方法，在 PoseTrack2017、Sub-JHMDB 和 Pose-Track2018 等数据集上取得了最先进的性能表现。

    Mar, 2022

  • 利用时间信息进行三维姿态估计

    本文提出了一种基于 LSTM 网络，使用时间信息提高 2D 关节点坐标序列估算 3D 姿势的鲁棒性和一致性，实验在 Human3.6M 上提高了 12.2% 的精度。

    Nov, 2017

  • 深度双连续网络用于人体姿态估计

    本文提出了一种基于多帧和时序信息的人体姿态估计方法。该方法包含三个模块：姿态时序合成器、姿态残差融合模块和姿态校正网络。在 PoseTrack2017 和 PoseTrack2018 数据集上进行的实验结果表明，该方法取得了最佳效果，并已发布代码以期促进未来的研究。

    Mar, 2021

  • DiffPose：基于视频的人体姿势估计的时空扩散模型

    DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

    Jul, 2023

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 一种深度时空融合框架，用于场景流的可学习运动模型和遮挡

    该论文提出了一种基于数据驱动的多帧场景流估计方法，通过神经网络以及双向场景流估计和遮挡掩模生成实现了对运动估计中遮挡问题的有效解决，提供了一种快速有效的计算机视觉方法。

    Nov, 2020

  • 回头看和向前看：明确时间差建模的视频超分辨率

    本文提出一种基于时间差建模的视频超分辨率方法，通过不同的接受野分别处理两个像素子集以提取互补信息，并计算高频域中连续帧的差异来利用中间结果进一步增强 SR 结果

    Apr, 2022

  • 使用时间流图进行肢体姿态估计和跟踪

    本研究提出了利用时间信息进行人体姿势估计的方法，在空间部分中回归联合热图和部分亲和力场，在时间部分中回归描述肢体运动的时间流图，并提出了一种数据增强方法和多步长估计方法来提高结果的表现。

    May, 2019

  • 联合流：多人跟踪的时间流场

    本文提出了一种在线多人姿态跟踪方法，通过构建时空网络，利用多人姿态估计方法的空间网络提取图像特征和姿态特征，预测时间流场，并在二分图优化问题中使用相似性作为二元潜势实现多姿态追踪，展示了相对较小的 CNN 网络可以学习这些 TFF，同时实现最先进的多人姿态跟踪结果。

    May, 2018