从视频到动画的无配对运动风格转移

May, 2020

从视频到动画的无配对运动风格转移

Unpaired Motion Style Transfer from Video to Animation

Kfir Aberman, Yijia Weng, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen

TL;DR本文提出了一种数据驱动的运动风格转移框架，该框架学习来自带样式标签的不成对运动集合，并能够从视频直接提取运动风格进行转移。该框架还能够绕过 3D 重建并将其应用于 3D 输入运动，其中运动的内容和风格经过编码，分别在解码合成过程中起不同的作用。实验结果表明，该方法在不需要成对训练数据的情况下，其结果可与最先进的方法相媲美，并且在转移先前未见过的风格时优于其他方法。同时，该方法还是首次从视频到 3D 动画实现风格转移的研究。

Abstract

Transferring the motion style from one animation clip to another, while preserving the motion content of the latter, has been a long-standing problem in character animation. Most existing data-driven approaches are supervised and rely on paired data, where motions with the same content are performed in different styles. In addition, these approaches are limi

motion style transfer data-driven framework unpaired collection temporally invariant adaptive instance normalization direct style transfer

发现论文，激发创造

利用扩散模型进行即时样式迁移的学习：一种语义引导方法

我们提出了一种基于扩散模型的即时人体运动风格转移学习方法，通过几分钟的微调学习，可以将未知的风格转移到不同的内容运动中，且仅需要一个风格示例和以中立运动为主的文本到运动数据集（例如 HumanML3D）。

Mar, 2024

3DSNet：无监督形状到形状的 3D 风格转换

本研究提出了一种基于分离内容和风格表示的基于学习的方法，用于在 3D 对象之间进行风格转移，可以合成以目标 3D 模型为风格，来源 3D 模型为内容的新 3D 形状，同时我们还将其扩展到了多样式分布的隐式学习。实验结果证实了该方法在多个基准测试中的有效性。

Nov, 2020

Style-ERD: 灵敏且连贯的在线动态风格迁移

该研究论文提出了一种针对在线动画应用的高效灵活的运动风格转移方法，使用一种新的样式转移模型：Style-ERD，该模型具有 Encoder-Recurrent-Decoder 结构和新的关注机制，可以将动作样式化成多个目标样式。相较于离线处理方法，该方法在运动真实感、样式表现力以及运行时效率方面都有显着提高。

Mar, 2022

MoST：多种动作内容之间的动作风格转换网络

基于新的模型架构和风格解耦损失，我们提出了一种有效解决在不同内容的运动之间进行风格传递的问题的运动风格转换器，它能够将风格与内容有效分离，并生成具有传入风格的逼真运动。我们的方法在各方面表现优于现有方法，在不同内容的运动对中表现出特别高的质量，而无需启发式后处理。

Mar, 2024

交互式人物控制的在线运动风格转移

本研究提出了一种基于神经网络的端到端模型，可在用户控制下实时生成和转换不同风格的运动，无需手工制作的相位特征，在游戏系统中易于训练和部署，并从实验三个方面，即准确性，灵活性和多样性进行了评估，表现出令人满意的结果。

Mar, 2022

基于限制扩散生成的可扩展动作风格迁移

通过在训练阶段保持域的独立性，我们通过在向后扩散中施加偏向采样，从而构造了源域关键帧生成的偏置，并将其应用为内容约束的梯度，以实现关键帧流形约束梯度（KMCGs）的框架，我们的验证结果表明，训练单独的模型在多达十种舞蹈动作风格之间进行转换，相比基线和消融的基于扩散的风格转换模型，在保留动作内容方面取得了显著的改进。此外，我们进行了主观评估的人类研究，以评估生成的舞蹈动作的质量，结果验证了 KMCGs 的竞争力。

Dec, 2023

视频和球面图像的艺术风格转换

本文提出了两种计算机视觉算法对图像和视频进行风格迁移，第一种是根据 Gatys 算法进行能量最小化的图像风格转移技术，针对图像中的规模和遮挡等问题提出了改进，第二种是将视频风格迁移建模为一个学习问题，使用深度学习网络和新的训练程序使其在几乎实时的情况下实现任意长度的视频稳定风格转移，最后还介绍了如何将这些方法应用于 360 度图像和视频。

Aug, 2017

通过特征变换和局部运动相实现人类运动实时样式建模

本研究提出了一种利用动画合成网络来模拟基于本地运动相的运动内容的风格建模系统，通过特征变换来实时调制风格，其在实时风格建模方面的鲁棒性和效率得到了提高。

Jan, 2022

AI 运动编辑和风格化实际应用的动作捕捉数据集

提出了一个新的风格多样的运动数据集，用于运动风格转移任务的有效性进行了综合研究，使用了工业标准的人类骨骼结构，释放该数据集以鼓励未来在此领域开展更多的研究。

Jun, 2023

实时本地化光真实视频风格转换

本文提出了一种基于深度神经网络的算法，通过将图像的语义有意义的本地区域的艺术风格转移至目标视频的本地区域，同时保持其照片般的逼真性，并通过噪声和时间损失来优化视频的语义标签和平滑转换风格，最终实现一种能够自动生成视觉媒体的风格迁移方法。

Oct, 2020