基于限制扩散生成的可扩展动作风格迁移

Dec, 2023

基于限制扩散生成的可扩展动作风格迁移

Scalable Motion Style Transfer with Constrained Diffusion Generation

Wenjie Yin, Yi Yu, Hang Yin, Danica Kragic, Mårten Björkman

TL;DR通过在训练阶段保持域的独立性，我们通过在向后扩散中施加偏向采样，从而构造了源域关键帧生成的偏置，并将其应用为内容约束的梯度，以实现关键帧流形约束梯度（KMCGs）的框架，我们的验证结果表明，训练单独的模型在多达十种舞蹈动作风格之间进行转换，相比基线和消融的基于扩散的风格转换模型，在保留动作内容方面取得了显著的改进。此外，我们进行了主观评估的人类研究，以评估生成的舞蹈动作的质量，结果验证了 KMCGs 的竞争力。

Abstract

Current training of motion style transfer systems relies on consistency losses across style domains to preserve contents, hindering its scalable application to a large number of domains and private data. Recent image transfer works show the potential of independent training on each dom

motion style transfer diffusion models content preservation keyframe manifold constraint gradients dance motion styles

发现论文，激发创造

利用扩散模型进行即时样式迁移的学习：一种语义引导方法

我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

Mar, 2024

利用去噪扩散概率模型统一人类动作合成和风格传递

本文提出了一种针对数字人运动合成的解决方案，使用 Denoising Diffusion Probabilistic Model 中的扩散模型和多任务架构来表示不同类别的动作内容和不同内部类别行为的样式，并使用对抗性和物理规则来实现全局引导。实验结果表明，该方法能够产生高质量、逼真的人体运动，并有效验证了多任务架构的有效性。

Dec, 2022

领域特定的生成对抗风格迁移映射

本研究提出使用领域特定映射来重新映射共享内容空间中的潜在特征到特定内容空间，以提高图像的编码质量和风格传递的效果。实验证明，与以往的图像风格转换方法相比，所提出的方法在需要图像间语义对应的复杂场景中表现得更好。

Aug, 2020

从视频到动画的无配对运动风格转移

本文提出了一种数据驱动的运动风格转移框架，该框架学习来自带样式标签的不成对运动集合，并能够从视频直接提取运动风格进行转移。该框架还能够绕过 3D 重建并将其应用于 3D 输入运动，其中运动的内容和风格经过编码，分别在解码合成过程中起不同的作用。实验结果表明，该方法在不需要成对训练数据的情况下，其结果可与最先进的方法相媲美，并且在转移先前未见过的风格时优于其他方法。同时，该方法还是首次从视频到 3D 动画实现风格转移的研究。

May, 2020

基于扩散的图像翻译：使用解缕分离的风格和内容表征

本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

Sep, 2022

SMCD：基于蛇毒扩散的高逼真运动风格转移

通过 Style Motion Conditioned Diffusion (SMCD) 框架和 Motion Style Mamba (MSM) 模块，解决了传统 GAN 方法在运动风格迁移中的不稳定性和收敛问题，并成功生成更加逼真的运动序列。

May, 2024

样式注入在扩散中：适应大规模扩散模型进行风格转换的无训练方法

基于预训练大规模扩散模型的一种新的艺术风格转换方法，通过操作自注意力层的特征作为交叉注意力机制的方式，实现样式的传递和内容的保留，并解决原始内容的破坏和样式颜色不协调的问题，证明在传统和基于扩散的风格转换基准测试中超越了现有方法。

Dec, 2023

使用扩散模型进行灵活的动作中间插值

通过使用扩散模型生成多样化的人体动作，该研究提出了一种能够根据用户指定的空间限制和文本条件生成精确且多样化的动作的条件运动扩散补间方法（CondMDI）。在评估了该方法在 HumanML3D 数据集上的性能后，研究进一步探讨了基于引导和插值的方法，以及与这些方法相比，CondMDI 在推理时间关键帧创建方面的优势。

May, 2024

StyleDiffusion: 通过扩散模型实现可控的解耦风格转移

通过提出一种新的内容和风格 (C-S) 分离框架来实现风格迁移，利用 CLIP 图像空间中的显式内容信息提取和隐式学习得到互补风格信息，以实现可解释和可控的 C-S 分离和风格迁移，通过扩展扩散模型的风格去除和生成能力，实现了卓越的结果和灵活的 C-S 分离与权衡控制，为风格迁移中的 C-S 分离提供了新的见解并展示了扩散模型在学习良好分离的 C-S 特征方面的潜力。

Aug, 2023

领域感知的通用风格迁移

该研究提出了一种新的基于领域感知的样式迁移网络（DSTN），旨在通过捕捉参考图像的领域性质来传递样式。实验结果表明，该模型在艺术和照片逼真的渲染中均比先前的方法表现更好。

Aug, 2021