ICCVAug, 2019

基于深度神经网络的逼真面对面对话系统

PDF
TL;DR本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。
avatar conversation systemsequence-to-sequence modelsgenerative adversarial networkfacial image synthesisneural network training
发现论文，激发创造
  • 一种面对面的神经对话模型

    我们提出了一个新的神经会话模型，其不仅读取和生成文本信息，还能够识别和生成面部表情，以及基于对话中的情绪适应其响应。该模型采用 RNN 编码器 - 解码器架构，通过观察电影进行训练，并通过自动度量和人类研究展示了其生成更自然对话的能力。

    Dec, 2018

  • 基于学习的个性化头部姿势音频驱动的说话人脸视频生成

    本文提出了一种基于深度神经网络的方法，通过输入音频信号和短视频，生成个性化头部姿态、表情和口型同步，并使用记忆增强的生成对抗网络模块来优化合成效果的自然对话人脸视频。实验表明，该方法可以在较少帧数的情况下生成高质量、自然的对话人脸视频。

    Feb, 2020

  • 基于条件生成对抗网络的语音驱动人脸再现

    利用递归神经网络和条件生成对抗网络，根据音频输入生成具有准确口型同步的逼真面部图像。

    Mar, 2018

  • 快速双层神经合成一次性逼真头像

    利用神经渲染基础系统从单张照片创建头像，将外貌分解为两个图层，第一层是由小型神经网络合成的姿态相关的粗略图像，第二层由姿态无关的纹理图像定义，通过在线形变和添加到粗略图像上，以确保高分辨率综合头部视图的有效性和速度。实验显示了和先前神经头像模型相比具有显著的推理加速和视觉质量，同时还在智能手机上实现了实时功能。

    Aug, 2020

  • 实时逼真的说话人头部动画

    本文介绍了一种由音频信号驱动的、生成具有个性化的逼真说话动画的活体系统，包括从音频信号中提取深度音频特征，分析面部动态和姿态，并在最终的阶段生成逼真的面部细节。

    Sep, 2021

  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 利用 GAN 实现逼真的语音驱动面部动画

    本文介绍了一种基于语音信号自动生成会说话的角色的方法，该方法使用了端到端的系统并使用 Generative Adversarial Network (生成对抗网络) 来确保视频与音频的实时同步，并且产生了自然的面部表情。

    Jun, 2019

  • 利用异构图神经网络生成情感对话

    本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。

    Dec, 2020

  • 基于条件循环对抗网络的说话人脸生成

    提出一种基于条件对抗生成的视频网络，该网络将音频输入作为条件并考虑面部图像在不同视频帧之间的时间依赖性，从而实现唇部和面部平稳过度，最终通过音频片段提取的音素分布信息，开发出一种样本选择方法，可以在不降低生成视频质量的情况下有效减小训练数据集的规模。

    Apr, 2018

  • 少样本对抗学习的逼真神经对话头部模型

    通过对一大量数据集进行长期元学习，本文提出了一个具备少量学习能力的系统，可以在仅有很少图片的情况下，快速生成高度逼真、个性化的人头模型，此方法可以应用于新人物和肖像画。

    May, 2019