MMSep, 2022

频域中的时域一致的人类动作转移研究

PDF
TL;DR本文提出了一种名为 FreMOTR 的基于频域的人体运动转移框架，通过深入分析自然和合成视频在空间维度和时间维度的频率差异，利用频域外观正则化和时间频率正则化模块，有效缓解空间伪影和时间不一致性，进一步提高了合成视频帧级别视觉质量和时间一致性指标。
human motion transferfrequency domainvideo synthesistemporal consistencydeepfake detection
发现论文，激发创造
  • 基于单目视频的高保真度神经人类动作转移

    该文提出了一种新的框架，通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示，从而解决了视频中松散的服装动态和细节的生成问题，实现了高保真的人类动作转移。

    Dec, 2020

  • DiffusionPhase: 频域中的运动扩散

    本研究介绍一种基于学习的方法，用于从文本描述中生成高质量的人类运动序列，通过在频域上进行文本条件下的人体运动生成，实现了更多样化和平滑的运动序列生成。

    Dec, 2023

  • 通过迭代优化实现准确的人体动作预测

    本文提出了一种名为 FreqMRN 的人体运动预测框架，它考虑了人体的运动动力结构和运动的时间平滑性质，并通过生成运动历史摘要和使用空间 - 时间感知、速度感知和全局平滑感知损失函数迭代优化来实现精确的短期和长期人体运动预测。

    May, 2023

  • 探究时空多频分析用于实现高保真度和时空一致性的视频预测

    本文提出基于多级小波分析的视频预测网络，以应对图像失真和时间不一致等现有预测模型所存在的问题，大量实验结果表明，本方法相较其他最先进的方法，具有更高的保真度和时间一致性。

    Feb, 2020

  • C2F-FWN: 用于时空一致运动转移的粗到细的流场矫正网络

    本研究提出了一种名为 Coarse-to-Fine 的流场网络，可以在人类视频运动转移中实现空间 - 时间一致性并支持外貌属性编辑。通过在 SoloDance 公共数据集和 iPER 数据集上进行的广泛实验，证明了该算法在空间和时间一致性方面优于现有技术。

    Dec, 2020

  • Human MotionFormer：基于视觉 Transformer 的人类动作转移

    本论文提出了一种基于全球和本地感知的分层的 ViT 框架 Human MotionFormer，旨在提高人类运动转移中的特征匹配和运动品质，该方法通过多个块的特征匹配和运动传递，实现了全局特征匹配，进一步引入了卷积层来改善局部感知，实现了平移和生成分支之间的协同监督来训练更好的运动表示，取得了最先进的效果。

    Feb, 2023

  • 基于物理的视频人体运动估计和合成

    通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型，该方法通过可微分的方式实现了物理约束和接触关系优化，并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。

    Sep, 2021

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • 多模态多部分人体动作综合的统一框架

    通过量化多种身体部位的运动为其各自领域定制的码本，利用预训练模型将多模态信号转换为共享的潜在空间，并通过逐步预测后续令牌形成完整序列来将这些信号转换成离散的运动令牌，最后从令牌序列中重构连续的实际运动。我们的研究方法将多模态动作生成挑战框架定义为令牌预测任务，利用基于控制信号模态的专门码本，具有可扩展性，能够轻松整合新的模态。广泛的实验证明了我们设计的有效性并强调了其广泛应用的潜力。

    Nov, 2023