用样式转移创建面部动画

Jul, 2023

FACTS: Facial Animation Creation using the Transfer of Styles

Jack Saunders, Steven Caulkin, Vinay Namboodiri

TL;DR通过使用 StarGAN 和保持发音相符合的口形损失，我们提出了一种新颖的方法将 3D 面部动画转换为不同的情感和个人风格，以便修改动画的风格特征。

Abstract

The ability to accurately capture and express emotions is a critical aspect of creating believable characters in video games and other forms of entertainment. Traditionally, this animation has been achieved with artistic effort or performance capture, both requiring costs in time and l

facial animation emotions audio-driven models stargan viseme-preserving loss

发现论文，激发创造

基于风格生成器的无约束面部表情转移

提出了一种基于 StyleGAN 模型的面部表情迁移方法，通过优化过程和线性组合方案将两个输入脸部图像的外观属性和表情属性实现合并，从而在不需要几何注释的情况下生成高质量、准确的面部表情合成结果。

Dec, 2019

高分辨率情感和艺术风格的生成对话模型

通过集成情感风格和艺术风格的文本控制和图像控制条件，我们提出了一种创新的声音驱动的说话人生成方法称为 Style2Talker，并使用大规模预训练模型自动对现有音频 - 视觉数据集进行情感文本标注。我们的方法在语音嘴唇同步性、情感风格和艺术风格方面的性能优于现有的最先进方法。

Mar, 2024

一种由表情和风格驱动的隐式物理人脸模型

基于数据驱动的隐式神经物理模型，我们提出了一种新的面部模型，可以分别通过表情和风格进行驱动，并且可以实现从一个角色到另一个角色的风格转移和不同角色之间的风格混合。

Jan, 2024

个性化的语音驱动的具有风格控制的表情生成功能的三维面部动画合成

通过建模特定身份的面部动作为潜在表示（称为样式），并在各种情感类别的语音输入中合成具有目标样式的新动画，我们提出了一种个性化语音驱动的富有表现力的 3D 面部动画综合框架。

Oct, 2023

从单幅肖像生成可动画的 3D 卡通人脸

本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

Jul, 2023

TranSTYLer: 多模态行为风格转换用于面部和身体姿势生成

使用 TranSTYLer 模型，该模型基于多模态转换器，可以在保留行为形状的同时，将一个虚拟代理人的行为表现风格转移到另一个代理人身上，同时确保传达源行为的含义为主。

Aug, 2023

基于生成对抗网络的人脸转换

提出了一种基于生成对抗网络的端到端人脸转移方法，使用 CycleGAN 生成目标角色的面部图像并探究了 PatchGAN 以及不同感受野大小对生成图像的影响。

Oct, 2017

利用 GAN 实现逼真的语音驱动面部动画

本文介绍了一种基于语音信号自动生成会说话的角色的方法，该方法使用了端到端的系统并使用 Generative Adversarial Network (生成对抗网络) 来确保视频与音频的实时同步，并且产生了自然的面部表情。

Jun, 2019

StyleSync：基于 Style 生成器的高保真通用和个性化嘴唇同步

该研究提出了 StyleSync，一种有效的框架，通过引入风格空间和特征重构，利用音频的调制卷积来准确地修改嘴的形状，使得目标人物的身份和说话风格能够被准确地保留，从而实现高保真的唇部同步。

May, 2023

CSTalk: 协作监督的语音驱动 3D 情感面部动画生成

本研究提出了一种名为 CSTalk 的方法，通过建模面部运动不同区域之间的相关性并监督生成模型的训练，生成符合人脸运动模式的真实表情，解决了语音驱动的 3D 面部动画技术中面临的数据限制、唇部对齐以及面部表情自然度等挑战，实验结果表明我们的方法优于现有最先进的方法。

Apr, 2024