ICCVMay, 2021

HuMoR: 坚韧姿态估计的 3D 人体运动模型

PDF
TL;DR引入了 HuMoR：一种用于鲁棒估计时间姿态和形状的 3D 人体运动模型。该模型是一个表达能力强的条件变分自编码器生成模型，学习了运动序列每一步姿态变化的分布。通过灵活的优化方法，可以利用 HuMoR 运动先验知识从模糊的观察中鲁棒地估计出合理的姿态和形状。经过广泛的评估，证明我们的模型在大量运动捕捉数据集上训练后，可以推广到多样化的动作和身体形状，并且可以从多种输入模态（包括 3D 关键点和 RGB (-D) 视频）重建运动。
3d human motion modelrobust estimationpose sequenceconditional variational autoencodermotion reconstruction
发现论文，激发创造
  • SurMo: 基于表面的 4D 动态人体建模

    提出了一种新的 4D 运动建模范例 SurMo，通过三个关键设计（基于表面的运动编码、物理运动解码和 4D 外观解码）在统一框架中联合建模时间动态和人体外貌。通过广泛实验证明了这种新范例的最先进性能，并展示了基于表面的运动三面体在渲染高保真度的一致视角人体时的表现能力。

    Apr, 2024

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • TEMOS: 从文本描述生成多样化的人类动作

    本文介绍了使用文本描述生成多样的 3D 人类动作的方法，并提出了 TEMOS 框架，它是一种基于变分自编码器的文本条件生成模型，可以产生多种不同的人体动作，实验证明 TEMOS 框架在 KIT Motion-Language 基准测试中取得了显著的改进。

    Apr, 2022

  • 通过动作压缩和细化实现 3D 人体运动估计

    本研究提出一种名为 MEVA 的基于自动编码器的运动压缩技术，将人类运动分解为平稳运动表示和通过运动细化学习的残差表示，从而捕捉人类运动的粗略整体动作和个人特定细节。实验结果表明，该方法产生了平稳和准确的 3D 人体姿态和运动估计。

    Aug, 2020

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 学习 3D 场景中 4D 人体捕捉的动作先验

    本研究提出了一种名为 LEMO 的人体运动先验方法来从单目视频中恢复复杂场景中高质量的 3D 人体运动，该方法利用大规模运动捕捉数据集 AMASS，引入了一种新的运动平滑性先验，可大大减少序列中出现的姿态抖动，并通过自监督学习获得了接触和遮挡感知的运动插值器和接触摩擦项。结果显示，LEMO 方法可用于 4D 人体捕获，恢复流畅运动和物理合理的人体 - 场景交互。

    Aug, 2021

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 多模态感知驱动的三维人体动作预测

    未来人体姿势预测是机器智能的基本应用，本研究引入了一种新的多模态感知驱动的运动预测方法，通过结合外部 3D 场景和内部人类凝视信息来实现高保真度的生成，同时考虑人的意图和场景的语义连贯性，该方法在 3D 人体姿势和轨迹预测上取得了最先进的性能。

    May, 2024

  • MoEmo 视觉变换器：在 HRI 情感检测中整合交叉注意力和运动向量的 3D 姿势估计

    本研究通过使用 MoEmo（Motion to Emotion），一种基于 3D 人体姿势估计的交叉注意力视觉变换器（ViT），以及基于人类姿势和环境背景的人体运动全身视频和相应情感标签的数据集，有效地利用人类姿势 / 姿态的运动向量和环境背景的特征图之间的微妙连接，实现了机器人系统中的情感检测，优于目前的最先进方法。

    Oct, 2023

  • GloPro: 全球一致的不确定性感知的野外三维人体姿势估计与跟踪

    本研究提出 GloPro 框架，通过有效地融合视觉线索与学习到的动作模型，首次预测包括形状、姿态和根姿态在内的三维人体网格的不确定性分布，大大超越了现有方法在人类轨迹准确度方面的表现，并能够实时运行。

    Sep, 2023