CVPRMar, 2024

CustomListener：面向用户友好的听觉头部生成的文本引导响应交互

PDF
TL;DR我们提出了一个用户友好的框架 CustomListener 来实现根据自由文本信息生成自定义的监听者，通过 Static to Dynamic Portrait module (SDP) 和 Past Guided Generation Module (PGG) 来实现说话者和监听者之间的协调并维持一致性，实现可控生成。我们构建了两个文本标注的监听头数据集进行训练和评估，并进行了广泛的实验证明了我们模型的有效性。
发现论文，激发创造
  • 响应式听觉头部生成：一个基准数据集和基准模型

    本文介绍了一种新的人脸 - 面对面谈话场景下，回应听众的反馈（如点头、微笑）的生成模型，并针对此场景提出了新的数据集 “ViCo”，该数据集支持一系列应用，如人机交互、视频翻译和跨模态生成，同时提供了生成模型的基线。

    Dec, 2021

  • 交互式对话式头像生成

    该研究提出了一种新的对话头生成基准，用于在面对面对话中合成单个交流者的行为，通过构建两个数据集，并针对面对面对话中的互动建立三个新任务，我们定义了相应的基线解决方案，并通过实验结果表明我们的基线方法可以生成具有响应能力和生动感的代理人，可以与真人协作完成整个对话。

    Jul, 2023

  • 分层语义感知听觉头部视频生成：一个高性能的管线

    在双人对话中，听众的头部反应与发言者的头部移动构成了重要的非言语语义表达。听众头部生成任务旨在基于发言者的音频和听众的参考图像，合成反应性的听众头部视频。本文提出了一个高性能的解决方案，通过增强音频编码器模块的分层语义提取能力，改进解码器部分、渲染器和后处理模块。我们的解决方案在 ACM Multimedia 2023 会议的 ViCo@2023 Conversational Head Generation Challenge 中获得了第一名。

    Jul, 2023

  • 视觉感知的文本转语音

    本文提出了一种新的视觉感知文本转语音（VA-TTS）任务，它可以根据面对面交流中听者的语音和面部表情条件语音的生成，实验表明该方法可以在多种情景下生成更加自然有节奏感的音频。

    Jun, 2023

  • VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成

    提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。

    Dec, 2023

  • 基于文本的情感和节奏对话头生成

    本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

    Apr, 2021

  • 语言模型能否学会倾听？

    基於語言模型和量化的原子運動元素，我們提出了一種生成聽眾適當面部反應的框架，以回應演講者的言談，並展示了模型在定量指標和定性用戶研究中生成流暢且反映語義的聽眾動作的能力。

    Aug, 2023

  • 具有隐式用户人设检测的个性化对话生成器

    提出了一种基于用户人格检测的个性化对话生成器，该方法使用条件变分推理建立用户潜在人格模型并利用后验鉴别正则化提高训练效果，在实证研究中实现比现有技术更高的对用户人格关注和提升了对话品质的效果。

    Apr, 2022

  • 情感听众画像：对话中的真实听众动作模拟

    生成非语言行为（如微笑）时的监听者头部生成侧重于根据说话者提供的信息生成听话者的非语言行为。我们提出了情感监听者肖像（ELP），将每个细粒度面部动作视为几个离散运动密码字的组合，并明确地建模了不同情绪对话中动作的概率分布。通过从学习的分布中采样，我们的 ELP 模型不仅可以自动生成自然且多样化的回应，还可以生成具有预定态度的可控回应。与以前的方法相比，我们的 ELP 在多个定量指标上表现出显著改进。

    Sep, 2023

  • MakeItTalk: 面向发言人的说话人头动画

    本文提出了一种从单个面部图像与仅含音频的输入生成富有表现力的谈话头像的方法，并能以单一的统一框架中合成艺术绘画、素描、2D 卡通角色、日本漫画和风格化漫画等图像，并通过定量和定性方法的评估以及用户研究，证明其比现有技术的生成头像的质量显着更高。

    Apr, 2020