AAAIDec, 2023

基于 Transformer 的无参考图像质量评估通过监督对比学习

PDF
TL;DR在这篇论文中，我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA，该模型通过 SCL 在大规模合成数据集上进行训练，从而提取出具有各种失真类型和水平的图像退化特征，并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息，最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明，SaTQA 在合成和真实数据集上都优于目前的最先进方法。
image quality assessmentno-referenceconvolution neural networktransformerssupervised contrastive learning
发现论文，激发创造
  • 基于 Transformer、相对排名和自一致性的无参考图像质量评估

    提出了一种新颖的模型，它通过卷积神经网络和 Transformers 中的自我关注机制，从输入图像中提取局部和非局部特征来解决无参考图像质量评估（NR-IQA）任务，同时提供自我一致性作为一个自我监督信号来提高模型的鲁棒性。经过在七个标准 IQA 数据集上的测试，证明了该模型达到了各种数据集上的最先进成果。

    Aug, 2021

  • 交叉 IQA: 无监督学习图像质量评估

    提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降级信息（如颜色变化、模糊等）的先进性能评估。

    May, 2024

  • 利用 Conformer 和 Blind Noisy Students 来改进图像质量评估

    探索基于 transformer 的全参考图像质量评估模型的性能，并提出了一种基于半监督知识蒸馏的 IQA 方法，使用嘈杂的伪标签数据将全参考教师模型蒸馏到盲学生模型中。在 NTIRE 2022 感知图像质量评估挑战中，我们的方法取得了竞争力的结果。

    Apr, 2022

  • 使用 Transformer 进行感知图像质量评估

    本文提出了一种图像质量转换器 (IQT)，成功地将变压器架构应用于感知全参考图像质量评估 (IQA) 任务。

    Apr, 2021

  • 通过 Transformer 预测错误图和感知质量令牌进行盲图像质量评估

    本文提出了一种基于 Transformer 的无参考图像质量评估模型，使用预测的目标误差地图和感知质量令牌进行特征融合，比现有技术表现更好，提高了对真实和合成图像数据库的性能表现。同时，通过感知质量令牌提取的注意力图也符合人类视觉系统的特征。

    May, 2023

  • 自适应特征选择在无参考图像质量评估中的应用：对比缓解语义噪声敏感性

    使用对比学习方法的质量感知特征匹配图像质量评估度量 (QFM-IQM)，通过对具有相似语义特征但质量得分不同的图像对进行比较，以自适应地调整上游任务的特征，移除有害特征并通过蒸馏方法提高模型的泛化能力，在 8 个标准 NR-IQA 数据集上实现了优越的性能。

    Dec, 2023

  • 局部畸变感知的高效变形器适应图像质量评估

    通过在图像质量评估 (IQA) 领域中嵌入局部失真特征并利用更大的预训练模型，在只训练局部失真特征提取器和注入器的情况下，我们的方法在流行的 IQA 数据集上取得了最先进的性能，表明 IQA 不仅是一个低级问题，而且也能从大规模预训练模型中获益。

    Aug, 2023

  • RankIQA：基于排序学习的无参考图像质量评价

    本文提出了一种从排名中学习的无参考图像质量评估方法（RankIQA）。采用合成的失真图像来训练 Siamese 网络，以排名的方式对图像质量进行评估，从而实现自动生成无需人工标注。通过微调，将训练有素的 Siamese 网络的知识转移至传统的 CNN，通过一次正向传递可以显著提高效率，并在 TID2013 基准测试中将结果提高了超过 5%。此外，在 LIVE 基准测试中，该方法也优于现有的 NR-IQA 技术，并在全参考 IQA（FR-IQA）方法中甚至超过现有技术，无需使用高质量的参考图像进行推断。

    Jul, 2017

  • MUSIQ: 多尺度图像质量转换器

    设计了一个多尺度图像质量 Transformer (MUSIQ)，它可以处理具有不同尺寸和长宽比的本机分辨率图像，通过多尺度表示，我们提出的方法可以捕捉不同粗细度的图像质量，并提出了一种基于哈希的二维空间嵌入和尺度嵌入，支持多尺度表示中的位置嵌入。实验结果验证了 MUSIQ 在多个大规模图像质量评估数据集上的最先进性能。

    Aug, 2021

  • 利用对比度增强进行无参考对比度失真图像质量评估

    本文提出了一种针对对比度失真的简单而有效的度量标准，利用结构相似性指数 (SSIM) 、基于直方图的熵和交叉熵等方法综合评估图像质量，进而学习回归模块以预测质量得分。

    Apr, 2019