Apr, 2024

THQA: 用于智能头像的感知质量评估数据库

PDF
TL;DR本文介绍了 Talking Head Quality Assessment（THQA）数据库，包括通过 8 种不同的语音驱动方法生成的 800 个 Talking Head 视频。通过大量实验表明了 THQA 数据库在角色和语音特征方面的丰富性。进一步的主观质量评估实验分析了评分结果与语音驱动方法、年龄和性别之间的相关性。实验结果还显示主流图像和视频质量评估方法在 THQA 数据库上存在局限性，强调了进一步研究以提高 TH 视频质量评估的迫切性。
digital humansspeech-driven methodstalking head videosquality assessmentthqa database
发现论文，激发创造
  • 通过文本提示评估推进零样本数字人类质量评估

    提出了 SJTU-H3D 数据库，包含 40 个高质量的数字人类参考数据和 1120 个用七种类型的失真生成的标签失真数据，还提出了零样本 DHQA 方法，以确保泛化能力，减轻数据库偏差，并引入了数字人类质量指数（DHQI）来提高性能。

    Jul, 2023

  • 音频驱动的真人假头视频的感知质量评估比较研究

    通过进行控制性的心理物理实验，我们验证了模型预测与人工注释之间的一致性，鉴定出相对于广泛使用的度量方法更能与人类意见相符的评估指标，以填补评估研究在视觉质量、嘴唇音频同步和头部移动自然性方面的空白。我们相信我们的工作将促进性能评估和模型开发，为人工智能生成内容在更广泛的背景下提供洞察。

    Mar, 2024

  • 数字人头无参考质量评估方法

    在这篇论文中，我们开发了一种基于 Transformer 的新型无参考（NR）方法，用于以多任务方式处理数字人的感知质量评估（DHQA）。具体而言，我们将数字人的前 2D 投影渲染为输入，并采用视觉 Transformer（ViT）进行特征提取。然后，我们设计了一个多任务模块，共同分类数字人的失真类型和预测感知质量水平。实验结果表明，所提出的方法与主观评级具有良好的相关性，并且优于现有的质量评估方法。

    Oct, 2023

  • 如何才能生成良好的面部表情视频？：调查和基准评估

    本文提出了一个用于评估生成 “说话人头像” 视频的基准，并提出了一些新的或最合适的度量标准来考虑视频保持身份一致性、嘴唇同步性，高视频质量和自然运动，以分析多种先进技术的优缺点并提出未来工作的有希望的方向。

    May, 2020

  • 单图像生成说话人动漫的改进模型及其蒸馏

    我们研究了使用单一动漫角色图像实时控制角色模型的问题，并通过提出新的构成网络架构和技术改进现有系统，使其在保持图像质量的同时，能够在实时应用中生成高质量动画帧。

    Nov, 2023

  • 对话者合成的综合分类和分析：肖像生成、驱动机制和编辑的技术

    头像合成的技术和应用进行了全面的调查和总结，涵盖了头像生成、驱动机制、编辑技术等方面，同时还提供了大量的数据集和绩效分析，以支持未来的研究和应用。

    Jun, 2024

  • 针对动态数字人体的几何感知视频质量评估

    基于几何感知的视频质量评估方法在动态数字人类建模中表现出最先进的性能。

    Oct, 2023

  • 从像素到肖像：口头生成技术与应用的综合调研

    这篇论文系统地研究了最新的深度学习和计算机视觉技术在逼真说话头部生成方面的方法，将它们分为图像驱动、音频驱动、视频驱动和其他（包括神经辐射场（NeRF）和基于 3D 的方法）四种主要方法，并深入分析每种方法的独特贡献、优势和局限性。此外，还对公开可用的模型进行了全面比较，在推理时间和生成输出的质量等关键方面进行了评估。本文的目标是提供一个清晰而简明的关于当前说话头部生成领域的概述，阐明不同方法之间的关系，并确定未来研究的有希望的方向。这个综述将为对这个快速发展领域感兴趣的研究人员和从业者提供有价值的参考。

    Aug, 2023

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • 探索视频感知表征在盲视频质量评估中的有效性

    通过提取 HVS 的视频感知表示，并通过测量其在感知领域中的表示方式的直线程度和紧凑性来量化视频的自然度和内容连续性，我们提出了一种评估视频临时失真的 TPQI 指标，并证明它对任何数据集都有可申请性，即使在评估具有大的时间变化的视频时也有适用性，TPQI 可以实现与空间质量度量相当的性能甚至更加有效的评估。

    Jul, 2022