Apr, 2023

使用自回归扩散模型的可控运动合成和重建

PDF
TL;DR该研究介绍了 MoDiff，它是一个基于自回归概率扩散模型的运动序列生成模型，其结合了跨模式 Transformer 编码器和基于 Transformer 的解码器，以生成控制时序依赖性的动作。该模型在运动合成方面表现优异，并通过数据丢弃方法来提高数据表示和运动合成的鲁棒性。
human motion synthesisprobabilistic diffusion modelcross-modal transformer encoderdata dropout methodcontrollable motion synthesis
发现论文，激发创造
  • 可控的运动扩散模型

    该研究提出了一种基于扩散模型的可控运动扩散模型 (COMODO) 框架，通过强化学习控制器和控制策略，实现了对虚拟角色的实时、多样化运动生成，可以适应用户的实时命令，同时还可以预测更多多样化的动作。

    Jun, 2023

  • ReMoDiffuse: 基于检索辅助的运动扩散模型

    本研究提出了一种基于扩散模型的动作生成框架 ReMoDiffuse，它集成了一种检索机制以改善去噪过程，提高了文本驱动动作生成的通用性和多样性，并且在更多样化的动作生成方面表现出色，优于现有的最先进方法。

    Apr, 2023

  • 驾驭扩散概率模型用于角色控制

    我们提供了一个新颖的字符控制框架，利用运动扩散概率模型生成高质量且多样化的字符动画，能够实时响应各种动态用户控制信号。

    Apr, 2024

  • AAMDM: 加速的自回归运动扩散模型

    通过综合定量分析和视觉比较，我们展示了加速自回归运动扩散模型（AAMDM）在运动质量、多样性和运行效率方面优于现有方法，并通过消融研究证明了每个算法组成部分的有效性。

    Dec, 2023

  • 基于运动条件的扩散模型用于可控视频合成

    介绍了一种使用条件扩散模型的视频合成方法（MCDiff），可以通过一组笔画控制视频的内容和动态，达到了良好的视觉效果。

    Apr, 2023

  • 基于运动扩散的全局一致随机人体动作预测

    该论文提出了一种基于扩散的随机人体运动预测框架 DiffMotion，旨在预测未来的姿势序列，并通过使用多阶段图卷积网络和方差调度器，使预测结果准确、逼真、一致，同时在准确度和保真度方面明显优于先前的方法，并通过基准数据集展现了强大的鲁棒性。

    May, 2023

  • Recurrent Flow Diffusion for Human Motion Generation

    人体动作生成是计算机动画中非常重要的任务，本文提出了一种基于扩散方法的新颖循环扩散模型，通过在扩散过程中对时间维度进行建模，以解决现有方法生成的动作序列不连贯、时长短以及计算开销大的问题。实验证明，该方法在人体动作的时间建模方面取得了与现有最先进方法相当的结果，能够生成连贯的动作序列并减少推理阶段的计算开销。

    Jun, 2024

  • MotionDiffuser：可控的基于扩散的多智能体运动预测

    本文提出了 MotionDiffuser 模型，其能够学习多个交通参与者之间联合分布的多模态表示，在实现高效计算精确样本概率的前提下，提出了一种压缩轨迹表示以提高模型性能，并结合约束抽样框架，以应用于强制束缚和创造定制化模拟场景等应用，最终在 Waymo 数据集上实现了最先进的多代理运动预测结果。

    Jun, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • MotionMix：无监督扩散生成可控运动

    Controllable generation of 3D human motions using MotionMix, a weakly-supervised diffusion model, achieves state-of-the-art performances on text-to-motion, action-to-motion, and music-to-dance tasks.

    Jan, 2024