May, 2020

如何才能生成良好的面部表情视频？：调查和基准评估

PDF
TL;DR本文提出了一个用于评估生成 “说话人头像” 视频的基准，并提出了一些新的或最合适的度量标准来考虑视频保持身份一致性、嘴唇同步性，高视频质量和自然运动，以分析多种先进技术的优缺点并提出未来工作的有希望的方向。
performance evaluationcomputer visionvideo generationevaluation metricsbenchmark
发现论文，激发创造
  • 音频驱动的真人假头视频的感知质量评估比较研究

    通过进行控制性的心理物理实验，我们验证了模型预测与人工注释之间的一致性，鉴定出相对于广泛使用的度量方法更能与人类意见相符的评估指标，以填补评估研究在视觉质量、嘴唇音频同步和头部移动自然性方面的空白。我们相信我们的工作将促进性能评估和模型开发，为人工智能生成内容在更广泛的背景下提供洞察。

    Mar, 2024

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • 从像素到肖像：口头生成技术与应用的综合调研

    这篇论文系统地研究了最新的深度学习和计算机视觉技术在逼真说话头部生成方面的方法，将它们分为图像驱动、音频驱动、视频驱动和其他（包括神经辐射场（NeRF）和基于 3D 的方法）四种主要方法，并深入分析每种方法的独特贡献、优势和局限性。此外，还对公开可用的模型进行了全面比较，在推理时间和生成输出的质量等关键方面进行了评估。本文的目标是提供一个清晰而简明的关于当前说话头部生成领域的概述，阐明不同方法之间的关系，并确定未来研究的有希望的方向。这个综述将为对这个快速发展领域感兴趣的研究人员和从业者提供有价值的参考。

    Aug, 2023

  • 对话者合成的综合分类和分析：肖像生成、驱动机制和编辑的技术

    头像合成的技术和应用进行了全面的调查和总结，涵盖了头像生成、驱动机制、编辑技术等方面，同时还提供了大量的数据集和绩效分析，以支持未来的研究和应用。

    Jun, 2024

  • 基于文本的情感和节奏对话头生成

    本研究提出了一种基于文本的交谈头视频生成框架，能够按照上下文情感及语音节奏和停顿，合成高保真度的面部表情和头部动作。我们的算法通过两个阶段：一个是针对多个人种实现的通用阶段，一个是基于每一个人的具体情况实现的个性阶段。通过广泛的实验验证，我们的这一算法能够生成高质量、逼真的交谈头视频，且在多项指标上均超过目前领先的技术水平。

    Apr, 2021

  • 带节奏头部动作的虚拟说话人生成

    本文提出一种基于 3D-aware 生成网络、混合嵌入和非线性合成模块的方法，通过显式建模头部运动和面部表情，精心处理 3D 动画以及动态嵌入参考图像，实现了可控、逼真、时序连贯的说话者头像视频，并在多个标准基准测试中表现出优异的结果。

    Jul, 2020

  • 文本到视频：适用于零样本身份不可知的说话头像生成的两阶段框架

    本文提出了一种新颖的两阶段框架，用于人物无关视频克隆，特别关注文本转视频生成。在第一阶段，我们利用预训练的零样本模型实现文本转语音转换。第二阶段采用音频驱动的说话人生成方法，根据第一阶段生成的音频产生引人注目的视频。该论文对不同的文本转语音和音频驱动的说话人生成方法进行了比较分析，确定了最有前景的研究和开发方法。

    Aug, 2023

  • 视频会议用单镜头自由视角神经对话人头合成

    提出了一种新颖的神经网络生成模型，采用关键点作为运动信息的表征形式，从而实现了面部图像的生成，降低了视频会议的带宽要求。

    Nov, 2020

  • VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成

    提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。

    Dec, 2023

  • 增强式说话人脸视频生成与评估的音频视觉语音表示专家

    使用 AV-HuBERT 进行口型同步损失的计算，并引入三种新的口型同步评估指标，以提供全面的口型同步性能评估。实验结果和详细的消融研究表明了我们方法的有效性和提出的评估指标的实用性。

    May, 2024