Apr, 2022

学习聆听：建模非确定性二元面部动作

PDF
TL;DR该论文提出了一个交互式对话的建模框架，通过结合说话人的动作、对话音频和可能的相应听众动作输出来捕捉非口头双人互动的多模态和非确定性特征，还使用了运动 - 音频交叉注意力变换将说话人的运动和语音音频结合起来，并通过运动编码 VQ-VAE 学习了对真实听众运动的离散潜在表示。
interactional communicationdyadic conversationsspeech audiomotion-encoding vq-vaemultimodal inputs
发现论文，激发创造
  • 社会行为生成的二人互动建模

    人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

    Mar, 2024

  • 语言模型能否学会倾听？

    基於語言模型和量化的原子運動元素，我們提出了一種生成聽眾適當面部反應的框架，以回應演講者的言談，並展示了模型在定量指標和定性用戶研究中生成流暢且反映語義的聽眾動作的能力。

    Aug, 2023

  • DualTalker: 语音驱动的三维面部动画的跨模态双重学习方法

    通过交叉模态的双学习框架和辅助的模态一致性损失，提高数据使用效率、关联交叉模态的依赖关系，并增强微妙面部表情动力学的映射，从而在语音驱动三维面部动画中提高性能。

    Nov, 2023

  • 面向目标驱动的二元交流的情感面孔

    本研究介绍了一种视频框架，用于建模双人对话中口头和非口头交流之间的关联，提出了一种通过大型语言模型和视觉 - 语言模型构成的对话建模方法，并提出了一种新的无剧本对话视频数据集，实验和可视化结果表明，该方法能够生成显著更具社交适切性的监听者。

    Jan, 2023

  • 超越言语 -- 为沟通生成整体性的三维人类二人运动

    本文介绍了一个创新任务，重点关注人类沟通，旨在生成说话者和听众的三维整体人体动作。我们的方法的核心是将因子分解与文本语义信息相结合，从而更真实和协调地生成动作。我们分别训练 VQ-VAEs 来处理说话者和听众的整体动作，并考虑了说话者和听众之间的实时相互影响，提出了一种新颖的基于链式变换器的自回归模型，专门设计用于有效描述现实世界的沟通场景，可以同时生成说话者和听众的动作。这些设计确保了我们生成的结果既协调又多样化。我们的方法在两个基准数据集上展示出最先进的性能。此外，我们还介绍了 HoCo 整体沟通数据集，这是未来研究的宝贵资源。我们的 HoCo 数据集和代码将在被接受后用于研究目的发布。

    Mar, 2024

  • CodeTalker: 利用离散运动先验驱动的语音驱动 3D 面部动画

    本文提出将基于语音的面部动画转化为在学习到的码本的有限代理空间中的代码查询任务，有效地减少了跨模态映射的不确定性，从而提高了生成的运动的生动性，并且通过使用一个自动回归模型，演示了我们方法在视觉和感知质量上均优于当前最先进的方法。

    Jan, 2023

  • SadTalker：学习逼真的 3D 动作系数，用于风格化音频驱动的单张图像口型动画

    本文提出了 SadTalker—— 一种生成逼真说话头像视频的方法，通过音频和 3D 运动系数生成 3D 头部姿态和表情，利用 ExpNet 和 PoseVAE 分别进行表情和头部姿态合成，并使用生成的 3D 运动系数合成最终视频，实验结果表明了该方法优于其他方法。

    Nov, 2022

  • MeshTalk: 通过跨模态分离实现从语音到三维面部动画

    本文提出了一种利用音频生成三维面部动画的通用方法，该方法建立一个针对面部动画的分类潜空间，根据音频相关和不相关的信息进行信息分离，实现面部动画中高度逼真的运动合成结果，包括高准确度的唇部运动，以及未相关到音频信号的面部其他部位的合理动画，此方法在定性和定量方面均优于现有基线，且具有高逼真度。

    Apr, 2021

  • 朝着变量和协调的整体语音运动生成

    通过 ProbTalk 的统一概率框架，以综合协调性和可变性为核心，生成自然多样的整体语音运动，从而比现有方法在质量和数量上都实现了更高的真实度。

    Mar, 2024

  • 基于概率的语音驱动三维面部动作合成：新的基准、方法和应用

    从语音信号中为 3D 面部几何动画创建概率模型的研究，通过大规模数据集和合适的评估指标，展示了多样性和准确性，可生成适应未知说话者风格的 3D 面部运动，并改进下游的视听模型表现。

    Nov, 2023