Oct, 2023

数字人头无参考质量评估方法

PDF
TL;DR在这篇论文中，我们开发了一种基于 Transformer 的新型无参考（NR）方法，用于以多任务方式处理数字人的感知质量评估（DHQA）。具体而言，我们将数字人的前 2D 投影渲染为输入，并采用视觉 Transformer（ViT）进行特征提取。然后，我们设计了一个多任务模块，共同分类数字人的失真类型和预测感知质量水平。实验结果表明，所提出的方法与主观评级具有良好的相关性，并且优于现有的质量评估方法。
digital humansperceptual quality assessmentno-reference methodtransformermulti-task module
发现论文，激发创造
  • 针对动态数字人体的几何感知视频质量评估

    基于几何感知的视频质量评估方法在动态数字人类建模中表现出最先进的性能。

    Oct, 2023

  • 通过文本提示评估推进零样本数字人类质量评估

    提出了 SJTU-H3D 数据库，包含 40 个高质量的数字人类参考数据和 1120 个用七种类型的失真生成的标签失真数据，还提出了零样本 DHQA 方法，以确保泛化能力，减轻数据库偏差，并引入了数字人类质量指数（DHQI）来提高性能。

    Jul, 2023

  • THQA: 用于智能头像的感知质量评估数据库

    本文介绍了 Talking Head Quality Assessment（THQA）数据库，包括通过 8 种不同的语音驱动方法生成的 800 个 Talking Head 视频。通过大量实验表明了 THQA 数据库在角色和语音特征方面的丰富性。进一步的主观质量评估实验分析了评分结果与语音驱动方法、年龄和性别之间的相关性。实验结果还显示主流图像和视频质量评估方法在 THQA 数据库上存在局限性，强调了进一步研究以提高 TH 视频质量评估的迫切性。

    Apr, 2024

  • UNIQA：面向完全参考和无参考图像质量评估的统一框架

    设计了一个用于全参考和无参考图像质量评价的统一网络，通过语义影响建模来提高性能，并且在各种数据集上超越了相关的最先进方法。

    Oct, 2023

  • 基于 Swin TransformerV2 和粗糙到精细策略的视频质量评估

    非参考视频质量评估中，通过引入经过多个图像质量评估数据集预训练的增强空间感知模块和轻量级的时域融合模块，本研究实现了使用 Swin Transformer V2 作为本地级别空间特征提取器，并通过一系列 Transformer 层融合这些多阶段表示。此外，还利用时域 Transformer 在视频中进行时空特征融合。为了适应不同比特率的压缩视频，我们采用粗到精的对比策略，以增强模型区分来自不同比特率视频的特征的能力。这是一篇扩展版的一页摘要。

    Jan, 2024

  • 通过 Transformer 预测错误图和感知质量令牌进行盲图像质量评估

    本文提出了一种基于 Transformer 的无参考图像质量评估模型，使用预测的目标误差地图和感知质量令牌进行特征融合，比现有技术表现更好，提高了对真实和合成图像数据库的性能表现。同时，通过感知质量令牌提取的注意力图也符合人类视觉系统的特征。

    May, 2023

  • 3D 虚拟现实画面质量研究

    本文旨在通过一项有关画质评估的研究，建立大规模的虚拟现实（VR）主观质量数据库，以发展 VR 品质模型和基准测试 VR 品质预测算法。研究中，使用 450 张受损的图像进行了调查，并记录了主观评分和眼动数据，支持了注视方向与品质感知之间的关系。文章还对几个公开可用的 IQA 模型进行了评估，并对比了它们的性能。

    Oct, 2019

  • 交叉 IQA: 无监督学习图像质量评估

    提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降级信息（如颜色变化、模糊等）的先进性能评估。

    May, 2024

  • 适用于数据高效、无参考图像质量评估的学习通用感知表示

    无参考图像质量评估中，无监督学习的质量表示具有广泛的扭曲捕捉能力，并通过视觉语言模型提取高层次的图像质量信息，将这两组特征结合训练简单回归器有效预测质量，并展示了这些特征在数据有效和零样本情况下的优越性能。

    Dec, 2023

  • HDR-ChipQA: 基于无参考的高动态范围视频质量评估

    本文提出了一种无参考视频质量模型和算法，它可以为广泛采用的 HDR 视频网络提供更好的视频质量评估，在 HDR 和 SDR 内容中均表现出优异的性能。

    Apr, 2023