Mar, 2024

音频驱动的真人假头视频的感知质量评估比较研究

PDF
TL;DR通过进行控制性的心理物理实验，我们验证了模型预测与人工注释之间的一致性，鉴定出相对于广泛使用的度量方法更能与人类意见相符的评估指标，以填补评估研究在视觉质量、嘴唇音频同步和头部移动自然性方面的空白。我们相信我们的工作将促进性能评估和模型开发，为人工智能生成内容在更广泛的背景下提供洞察。
artificial intelligence generated contenttalking head generationperformance evaluationpsychophysical experimentsmodel development
发现论文，激发创造
  • 如何才能生成良好的面部表情视频？：调查和基准评估

    本文提出了一个用于评估生成 “说话人头像” 视频的基准，并提出了一些新的或最合适的度量标准来考虑视频保持身份一致性、嘴唇同步性，高视频质量和自然运动，以分析多种先进技术的优缺点并提出未来工作的有希望的方向。

    May, 2020

  • THQA: 用于智能头像的感知质量评估数据库

    本文介绍了 Talking Head Quality Assessment（THQA）数据库，包括通过 8 种不同的语音驱动方法生成的 800 个 Talking Head 视频。通过大量实验表明了 THQA 数据库在角色和语音特征方面的丰富性。进一步的主观质量评估实验分析了评分结果与语音驱动方法、年龄和性别之间的相关性。实验结果还显示主流图像和视频质量评估方法在 THQA 数据库上存在局限性，强调了进一步研究以提高 TH 视频质量评估的迫切性。

    Apr, 2024

  • 从像素到肖像：口头生成技术与应用的综合调研

    这篇论文系统地研究了最新的深度学习和计算机视觉技术在逼真说话头部生成方面的方法，将它们分为图像驱动、音频驱动、视频驱动和其他（包括神经辐射场（NeRF）和基于 3D 的方法）四种主要方法，并深入分析每种方法的独特贡献、优势和局限性。此外，还对公开可用的模型进行了全面比较，在推理时间和生成输出的质量等关键方面进行了评估。本文的目标是提供一个清晰而简明的关于当前说话头部生成领域的概述，阐明不同方法之间的关系，并确定未来研究的有希望的方向。这个综述将为对这个快速发展领域感兴趣的研究人员和从业者提供有价值的参考。

    Aug, 2023

  • 听到的就是所看到的：从图像质量度量中获得音频质量指标

    本文研究了使用最新的图像感知度量来评估音频信号的可行性，并通过将其表示为声谱图来进行评估。我们发现这种方法鼓励人们挖掘听觉和视觉通路的相似之处，并且还对一些基本度量进行了定制，以解决音频信号的特殊性。使用音乐数据集对自定义定制的度量和几个基线度量进行评估，并与人类评价者对音频质量的感知之间的相关性得出了令人满意的结果。

    May, 2023

  • 分层语义感知听觉头部视频生成：一个高性能的管线

    在双人对话中，听众的头部反应与发言者的头部移动构成了重要的非言语语义表达。听众头部生成任务旨在基于发言者的音频和听众的参考图像，合成反应性的听众头部视频。本文提出了一个高性能的解决方案，通过增强音频编码器模块的分层语义提取能力，改进解码器部分、渲染器和后处理模块。我们的解决方案在 ACM Multimedia 2023 会议的 ViCo@2023 Conversational Head Generation Challenge 中获得了第一名。

    Jul, 2023

  • 探索 AIGC 视频质量：以视觉和谐、视频文本一致性和领域分布差异为重点

    这项研究基于 Text-to-Video 人工智能生成内容 (AIGC) 的最新进展，针对 AIGC 视频的质量评估遇到的挑战进行了分类，并提出了特定模块来综合评估 AIGC 视频的视觉和内容一致性，在不同的生成模型中发现了重要的视觉质量、流畅度和风格差异。通过预测源生成模型，可以提高 AIGC 视频特性的差异性，从而提高质量评估性能。该方法在 NTIRE 2024 质量评估比赛中获得了第三名，展示了其有效性。

    Apr, 2024

  • AIGCBench：AI 生成的图像到视频内容的综合评估

    人工智能生成内容（AIGC）领域迅速发展，本研究介绍了 AIGCBench，一个全面且可扩展的基准测试，旨在评估各种视频生成任务，主要集中在图像到视频（I2V）生成上。

    Jan, 2024

  • 学习和评估人类对话头生成的偏好

    我们提出了一种名为 Preference Score（PS）的新型基于学习的评估指标，用于对人类偏好进行定量评估，验证其在与人类感知的一致性、对未见数据的鲁棒性和泛化能力方面的优越性，对推进对话头生成具有重要价值。

    Jul, 2023

  • VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成

    提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。

    Dec, 2023

  • Audio2Head：基于音频的单次对话生成，自然的头部运动

    本文提出一种基于音频驱动的头像动画方法，该方法同时解决了面部动画和头部运动的问题，并且采用了神经网络来预测和生成头部和面部的动画以及背景的动作。通过关键点密集的运动场表示，本方法产生的头像动画具有很好的空间和时间连续性，并且性能优于现有技术。

    Jul, 2021