Oct, 2023

通过运动流引导的时空子空间注意力实现一致的舞蹈生成

PDF
TL;DRDance-Your-Latents 是一个生成一致舞蹈视频的框架，通过引入空间 - 时间子空间 - 注意力块，模拟了每个元素在有限空间内的运动，以实现生成视频的时空一致性，并通过姿态控制指导下的运动流量对其进行补全和对齐，实验结果表明该方法显著提升了生成视频的时空一致性。
generative aihuman dance generationspatiotemporal consistencydance-your-latentsmotion flow
发现论文，激发创造
  • LEO：人体视频合成的生成式潜空间图像动画器

    提出了一种名为 LEO 的新颖方法，通过将运动表示为一系列流场图，在生成过程中固有地分离运动和外貌，从而强调时空一致性，并取得了比以前方法更好的人类视频合成效果。

    May, 2023

  • LongDanceDiff：基于条件扩散模型的长期舞蹈生成

    通过设计了一种长期舞蹈生成模型，LongDanceDiff，基于条件扩散模型，在解决时间一致性和空间约束方面具有挑战性，以提高生成舞蹈动作的多样性和质量。

    Aug, 2023

  • DiffDance: 舞蹈生成的级联人体运动扩散模型

    将音乐与运动结合的 DiffDance 模型能够生成与输入音乐有效对齐的逼真舞蹈序列，结果与最先进的自回归方法相媲美。

    Aug, 2023

  • 我们的风格永不过时：通过潜空间的子空间分解实现动作解缠

    本文提出了一种使用预训练图像 GAN 模型分解视频中动作的新方法，通过发现神经网络的深层潜在空间中语义上有意义的因子，实现运动解缠。作者对面部和汽车数据集进行了广泛的评估，并展示了对于运动编辑和选择性运动转移（仅转移面部表情）等多种下游任务的结果。

    Jun, 2023

  • 姿态引导的人像生成与动画的深度空间转换

    本文提出 “可微分的全局流本地注意力框架”，以空间转换输入，实现人像生成和动画等多项任务，同时通过建模时间一致性，生成协调的视频，该框架在多项任务中表现优异，包括新视角合成和面部图像动画。

    Aug, 2020

  • 潜在变形：用于零样本视频到视频翻译的一致性扩散潜变量

    通过图像扩散模型的生成能力，我们提出了一种名为 LatentWarp 的新的零样本视频 - 视频翻译框架，通过约束查询令牌的时间一致性，在潜在空间中进一步结合了变形操作以约束查询令牌，从而实现了生成视频的视觉时间相干性的提升。

    Nov, 2023

  • Transflower：多模态注意力下的概率自回归舞蹈生成

    本研究提出了一种基于 Transformer 模型，结合之前姿势以及音乐情境来建模未来舞蹈动作分布的概率自回归模型，同时使用了包括专业舞者和业余舞者的当前最大的 3D 舞蹈动作数据集，通过物体评价和用户调查对比了两个基准模型，并表明要生成与音乐相匹配的有趣，多样和逼真的舞蹈，既需要模型具备建模概率分布的能力，又需要能够关注大范围的运动和音乐情境。

    Jun, 2021

  • 舞蹈视频生成中的节拍与视觉融合

    通过音乐作为条件输入，直接从静态图像中生成舞蹈视频的 Dance Any Beat Diffusion 模型引入了图像到视频生成原则，采用了音乐作为图像到视频生成的条件因素。

    May, 2024

  • 愿舞者与你同在：非人形舞蹈生成框架

    我们提出了一个框架，使非人形代理能够从人类视频中学习跳舞，通过训练一个奖励模型，该模型可以感知光流（视觉节奏）和音乐之间的关系，并通过生成与音乐匹配的视觉节奏的动作来学习跳舞。

    May, 2024

  • 潜空间中的生成人体动作风格化

    人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合，实现了多样化的风格化结果，具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。

    Jan, 2024