Aug, 2023

TranSTYLer: 多模态行为风格转换用于面部和身体姿势生成

PDF
TL;DR使用 TranSTYLer 模型，该模型基于多模态转换器，可以在保留行为形状的同时，将一个虚拟代理人的行为表现风格转移到另一个代理人身上，同时确保传达源行为的含义为主。
behavior expressivity styletranstylermultimodal behaviorsstyle transfercontent leakage
发现论文，激发创造
  • ZS-MSTM: 基於對抗解綜多模態風格編碼的零樣式轉移理論在從文本和語音驅動的手勢動畫中的應用

    本研究利用机器学习方法进行虚拟代理人的行为风格建模，通过多模态数据进行风格转换，包括不同演讲者的手势合成。通过实验证明，该方法能更好地捕捉语音中的风格信息，不受测试阶段未见演讲者的影响。

    May, 2023

  • 一种基于多说话人条件混合的语音手势动画样式转移方法

    本文提出了一种名为 Mix-StAGE 的新模型，它以端到端的方式训练单个模型以服务于多个说话者，同时为每个说话者的手势学习独特的样式嵌入，该模型可以对对话风格和内容进行区分，并可轻松地更改相同输入语音的姿势样式；同时，我们还介绍了一个被设计用于研究手势生成和样式传递的新数据集 PATS，我们的 Mix-StAGE 模型明显优于以前的手势生成方法并为将手势风格传递到多个说话者提供了路径。

    Jul, 2020

  • 用样式转移创建面部动画

    通过使用 StarGAN 和保持发音相符合的口形损失，我们提出了一种新颖的方法将 3D 面部动画转换为不同的情感和个人风格，以便修改动画的风格特征。

    Jul, 2023

  • 基于风格生成器的无约束面部表情转移

    提出了一种基于 StyleGAN 模型的面部表情迁移方法，通过优化过程和线性组合方案将两个输入脸部图像的外观属性和表情属性实现合并，从而在不需要几何注释的情况下生成高质量、准确的面部表情合成结果。

    Dec, 2019

  • BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

    提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

    Sep, 2023

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • MoST：多种动作内容之间的动作风格转换网络

    基于新的模型架构和风格解耦损失，我们提出了一种有效解决在不同内容的运动之间进行风格传递的问题的运动风格转换器，它能够将风格与内容有效分离，并生成具有传入风格的逼真运动。我们的方法在各方面表现优于现有方法，在不同内容的运动对中表现出特别高的质量，而无需启发式后处理。

    Mar, 2024

  • Text2Gestures：基于 Transformer 的网络，用于为虚拟代理人生成表情身体动作

    介绍了一种使用基于变压器的学习方法来生成虚拟代理与自然语言输入对应的带有情感表达的全身手势的方法，通过使用生物力学的特征和考虑目标虚拟代理的性别和利手性，该方法能以交互性的速度在图形处理器上产生实时且富有表现力的手势，经过网页用户研究，其生成的手势在趋向性和情感上与预期高度吻合。

    Jan, 2021

  • 个性化的语音驱动的具有风格控制的表情生成功能的三维面部动画合成

    通过建模特定身份的面部动作为潜在表示（称为样式），并在各种情感类别的语音输入中合成具有目标样式的新动画，我们提出了一种个性化语音驱动的富有表现力的 3D 面部动画综合框架。

    Oct, 2023

  • 一种由表情和风格驱动的隐式物理人脸模型

    基于数据驱动的隐式神经物理模型，我们提出了一种新的面部模型，可以分别通过表情和风格进行驱动，并且可以实现从一个角色到另一个角色的风格转移和不同角色之间的风格混合。

    Jan, 2024