Dec, 2020

图像质量评估的 Transformer

PDF
TL;DR本研究探究 Transformer 在图像质量评估（TRIQ）中的应用，通过在卷积神经网络（CNN）提取的特征图上使用浅层 Transformer 编码器，采用自适应位置嵌入来处理任意分辨率的图像，通过在公共图像质量数据库上研究 Transformer 不同设置来证明所提出的 TRIQ 架构具有出色的性能。
transformerimage qualitycnnadaptive positional embeddingperformance
发现论文，激发创造
  • 使用 Transformer 进行感知图像质量评估

    本文提出了一种图像质量转换器 (IQT)，成功地将变压器架构应用于感知全参考图像质量评估 (IQA) 任务。

    Apr, 2021

  • 通过 Transformer 预测错误图和感知质量令牌进行盲图像质量评估

    本文提出了一种基于 Transformer 的无参考图像质量评估模型，使用预测的目标误差地图和感知质量令牌进行特征融合，比现有技术表现更好，提高了对真实和合成图像数据库的性能表现。同时，通过感知质量令牌提取的注意力图也符合人类视觉系统的特征。

    May, 2023

  • MUSIQ: 多尺度图像质量转换器

    设计了一个多尺度图像质量 Transformer (MUSIQ)，它可以处理具有不同尺寸和长宽比的本机分辨率图像，通过多尺度表示，我们提出的方法可以捕捉不同粗细度的图像质量，并提出了一种基于哈希的二维空间嵌入和尺度嵌入，支持多尺度表示中的位置嵌入。实验结果验证了 MUSIQ 在多个大规模图像质量评估数据集上的最先进性能。

    Aug, 2021

  • 局部畸变感知的高效变形器适应图像质量评估

    通过在图像质量评估 (IQA) 领域中嵌入局部失真特征并利用更大的预训练模型，在只训练局部失真特征提取器和注入器的情况下，我们的方法在流行的 IQA 数据集上取得了最先进的性能，表明 IQA 不仅是一个低级问题，而且也能从大规模预训练模型中获益。

    Aug, 2023

  • 基于 Transformer 的无参考图像质量评估通过监督对比学习

    在这篇论文中，我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA，该模型通过 SCL 在大规模合成数据集上进行训练，从而提取出具有各种失真类型和水平的图像退化特征，并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息，最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明，SaTQA 在合成和真实数据集上都优于目前的最先进方法。

    Dec, 2023

  • 使用注意力面板解码器的数据高效图像质量评估

    本文提出一种基于 Transformer 架构的盲图像质量评价系统，具有高效的质量感知特征表示和强大的泛化能力，并且引入注意力面板机制来改善模型性能和减少预测不确定性。

    Apr, 2023

  • 交叉 IQA: 无监督学习图像质量评估

    提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降级信息（如颜色变化、模糊等）的先进性能评估。

    May, 2024

  • 基于 Transformer、相对排名和自一致性的无参考图像质量评估

    提出了一种新颖的模型，它通过卷积神经网络和 Transformers 中的自我关注机制，从输入图像中提取局部和非局部特征来解决无参考图像质量评估（NR-IQA）任务，同时提供自我一致性作为一个自我监督信号来提高模型的鲁棒性。经过在七个标准 IQA 数据集上的测试，证明了该模型达到了各种数据集上的最先进成果。

    Aug, 2021

  • 基于 Transformer 的端到端图像压缩和分析

    本文提出了一种基于 Transformer 的端到端图像压缩和分析模型，实现云端图像分类应用，并通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务中均具有有效性。

    Dec, 2021

  • 视觉 Transformer 综述

    本文综述了超过一百种不同的视觉 Transformer 根据三个基本的计算机视觉任务和不同的数据流类型，提出了一个分类法来组织代表性的方法，评估和比较所有这些现有的视觉 Transformers 在不同的配置下，并揭示一系列的重要但未开发的方面，最后指出了三个有前途的研究方向。

    Nov, 2021