Jul, 2023

交互式对话式头像生成

PDF
TL;DR该研究提出了一种新的对话头生成基准，用于在面对面对话中合成单个交流者的行为，通过构建两个数据集，并针对面对面对话中的互动建立三个新任务，我们定义了相应的基线解决方案，并通过实验结果表明我们的基线方法可以生成具有响应能力和生动感的代理人，可以与真人协作完成整个对话。
conversation head generationdigital humanmulti-turn conversationresponsive listening head generationexpressive talking head generation
发现论文，激发创造
  • 响应式听觉头部生成：一个基准数据集和基准模型

    本文介绍了一种新的人脸 - 面对面谈话场景下，回应听众的反馈（如点头、微笑）的生成模型，并针对此场景提出了新的数据集 “ViCo”，该数据集支持一系列应用，如人机交互、视频翻译和跨模态生成，同时提供了生成模型的基线。

    Dec, 2021

  • 分层语义感知听觉头部视频生成：一个高性能的管线

    在双人对话中，听众的头部反应与发言者的头部移动构成了重要的非言语语义表达。听众头部生成任务旨在基于发言者的音频和听众的参考图像，合成反应性的听众头部视频。本文提出了一个高性能的解决方案，通过增强音频编码器模块的分层语义提取能力，改进解码器部分、渲染器和后处理模块。我们的解决方案在 ACM Multimedia 2023 会议的 ViCo@2023 Conversational Head Generation Challenge 中获得了第一名。

    Jul, 2023

  • CustomListener：面向用户友好的听觉头部生成的文本引导响应交互

    我们提出了一个用户友好的框架 CustomListener 来实现根据自由文本信息生成自定义的监听者，通过 Static to Dynamic Portrait module (SDP) 和 Past Guided Generation Module (PGG) 来实现说话者和监听者之间的协调并维持一致性，实现可控生成。我们构建了两个文本标注的监听头数据集进行训练和评估，并进行了广泛的实验证明了我们模型的有效性。

    Mar, 2024

  • 带正则化驱动和增强渲染器的知觉式对话头生成

    该论文主要介绍了他们在 ACM Multimedia ViCo 2022 会话头部生成挑战中的解决方案，包括使用正则化训练广义的音频到头部的驱动程序和组装高质量的渲染器，以及利用前景 - 背景融合模块调整音频至行为模型和后处理生成的视频。该方案达到了听觉头部生成跟踪的第一名和说话头部生成跟踪的第二名。

    Jun, 2022

  • VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成

    提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。

    Dec, 2023

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • 视频会议用单镜头自由视角神经对话人头合成

    提出了一种新颖的神经网络生成模型，采用关键点作为运动信息的表征形式，从而实现了面部图像的生成，降低了视频会议的带宽要求。

    Nov, 2020

  • 基于文本的情感和节奏对话头生成

    本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

    Apr, 2021

  • 带节奏头部动作的虚拟说话人生成

    本文提出一种基于 3D-aware 生成网络、混合嵌入和非线性合成模块的方法，通过显式建模头部运动和面部表情，精心处理 3D 动画以及动态嵌入参考图像，实现了可控、逼真、时序连贯的说话者头像视频，并在多个标准基准测试中表现出优异的结果。

    Jul, 2020

  • 听、解缠与控制：可控语音驱动的说话人头像生成

    提出了一种名为 SPEAK 的一次性 Talking Head Generation 框架，通过情感和姿势控制实现与一般 Talking Face Generation 的区别。该方法采用 Inter-Reconstructed Feature Disentanglement (IRFD) 方法将人脸特征解耦为三个潜在空间，并设计了一个面部编辑模块，将语音内容和面部潜在编码修改为单一的潜在空间。进一步，提出了一种新颖的生成器，利用编辑模块生成的修改后的潜在编码来调节情感表达、头部姿势和语音内容，以合成面部动画。大量实验表明，该方法可以生成具有协调的唇部运动、真实的面部情感和平滑的头部运动的逼真说话角色。

    May, 2024