本文提出了一种基于 Transformer 的无参考图像质量评估模型,使用预测的目标误差地图和感知质量令牌进行特征融合,比现有技术表现更好,提高了对真实和合成图像数据库的性能表现。同时,通过感知质量令牌提取的注意力图也符合人类视觉系统的特征。
May, 2023
本研究探究 Transformer 在图像质量评估(TRIQ)中的应用,通过在卷积神经网络(CNN)提取的特征图上使用浅层 Transformer 编码器,采用自适应位置嵌入来处理任意分辨率的图像,通过在公共图像质量数据库上研究 Transformer 不同设置来证明所提出的 TRIQ 架构具有出色的性能。
Dec, 2020
提出了一种新颖的模型,它通过卷积神经网络和 Transformers 中的自我关注机制,从输入图像中提取局部和非局部特征来解决无参考图像质量评估(NR-IQA)任务,同时提供自我一致性作为一个自我监督信号来提高模型的鲁棒性。经过在七个标准 IQA 数据集上的测试,证明了该模型达到了各种数据集上的最先进成果。
Aug, 2021
在这篇论文中,我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA,该模型通过 SCL 在大规模合成数据集上进行训练,从而提取出具有各种失真类型和水平的图像退化特征,并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息,最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明,SaTQA 在合成和真实数据集上都优于目前的最先进方法。
Dec, 2023
通过在图像质量评估 (IQA) 领域中嵌入局部失真特征并利用更大的预训练模型,在只训练局部失真特征提取器和注入器的情况下,我们的方法在流行的 IQA 数据集上取得了最先进的性能,表明 IQA 不仅是一个低级问题,而且也能从大规模预训练模型中获益。
Aug, 2023
设计了一个多尺度图像质量 Transformer (MUSIQ),它可以处理具有不同尺寸和长宽比的本机分辨率图像,通过多尺度表示,我们提出的方法可以捕捉不同粗细度的图像质量,并提出了一种基于哈希的二维空间嵌入和尺度嵌入,支持多尺度表示中的位置嵌入。实验结果验证了 MUSIQ 在多个大规模图像质量评估数据集上的最先进性能。
探索基于 transformer 的全参考图像质量评估模型的性能,并提出了一种基于半监督知识蒸馏的 IQA 方法,使用嘈杂的伪标签数据将全参考教师模型蒸馏到盲学生模型中。在 NTIRE 2022 感知图像质量评估挑战中,我们的方法取得了竞争力的结果。
Apr, 2022
提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA,可以从无标签图像数据中学习图像质量特征,并利用预训练的编码器进行线性回归模型的微调,实现了对图像的低频降级信息(如颜色变化、模糊等)的先进性能评估。
May, 2024
我们提出了一种顶部向下的方法,利用高层语义指导图像质量评估网络集中在具有语义重要性的局部失真区域,命名为 TOPIQ。我们的方法涉及设计一种启发式的粗到细网络(CFANet),它利用多尺度特征并以自上而下的方式逐步传播多级语义信息到低级表示。该方法的一个关键组成部分是我们提出的跨尺度注意力机制,该机制通过高层特征引导计算低层特征的注意力图。CFANet 可用于全参考(FR)和无参考(NR)图像质量评估,并且在大多数公开基准测试中相对于基于视觉变换器的现有方法取得了更好或有竞争力的性能。
自动编码器 VAE-QA 是一种用于在全参考下预测图像质量的简单高效方法,通过利用现有的自动编码器,它显著提升了跨数据集的泛化能力,具有更少的可训练参数、较小的内存占用和更快的运行时间。
Apr, 2024