Jun, 2024

CLIP 引导属性感知预训练用于可泛化图像质量评估

PDF
TL;DR提出了一种新颖的预训练框架，通过从通用视觉语言模型中选择性提取与图像质量相关的知识，并利用大型数据集的可扩展性，构建了一种适用于图像质量评估的通用表示。同时我们的方法在多个数据集上取得了最先进的性能，并展现了显著的泛化能力。
no-reference image quality assessmentvision language modelspretraining frameworkimage quality attributesgeneralization capabilities
发现论文，激发创造
  • 多模态提示学习的盲目图像质量评估

    该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

    Apr, 2024

  • 适用于数据高效、无参考图像质量评估的学习通用感知表示

    无参考图像质量评估中，无监督学习的质量表示具有广泛的扭曲捕捉能力，并通过视觉语言模型提取高层次的图像质量信息，将这两组特征结合训练简单回归器有效预测质量，并展示了这些特征在数据有效和零样本情况下的优越性能。

    Dec, 2023

  • UniQA: 图像质量与美学评估的统一视觉语言预训练

    图像质量评估和图像美学评估的统一视觉语言预训练 (UniQA) 方法能够同时提高这两个任务的性能并展现优异的无需训练样本和少标签图像评估能力。

    Jun, 2024

  • 野外环境下的图像描述性质量评估

    基于 Depicted Image Quality Assessment in the Wild (DepictQA-Wild) 方法构建了一个多功能的图像质量评估任务范式，包括评估和比较任务，从而构建了一个全面、大规模且高质量的数据集 DQ-495K，结果显示 DepictQA-Wild 在失真识别、即时评分和推理任务中明显优于传统基于分数的方法、之前的基于 Vision Language Models 的图像质量评估模型和专有的 GPT-4V。

    May, 2024

  • GenzIQA：使用提示引导的潜在扩散模型进行通用图像质量评估

    通过理解可学习的质量感知文本提示与图像之间的对齐程度，我们利用潜在扩散模型的降噪过程对广义图像质量评估进行了改进。

    Jun, 2024

  • 交叉 IQA: 无监督学习图像质量评估

    提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降级信息（如颜色变化、模糊等）的先进性能评估。

    May, 2024

  • 针对真实世界图像质量评估的质量感知图像文本对齐

    使用 QualiCLIP，这是一种基于 CLIP 的自监督方法，旨在解决无高质量参考图像时测量图像质量的问题；与其他方法相比，在不需要标记的主观测试分数的情况下，在真实场景中表现更好，并且具有更好的鲁棒性和解释性。

    Mar, 2024

  • IQAGPT：基于视觉语言和 ChatGPT 模型的图像质量评估

    在医学成像中，本研究以 IQAGPT 为例，结合了图像质量说明的 VLM 和 ChatGPT，利用大型语言模型实现图像质量评估和生成文本报告。结果表明 IQAGPT 在图像质量评估方面表现优异，超过了 GPT-4、CLIP-IQA 和仅依赖图像的多任务分类和回归模型。

    Dec, 2023

  • 非回归式盲图像质量评估

    基于检索相似的图像实例来评估图像质量的无回归框架，包含语义分类模块和畸变分类模块，根据语义和畸变相似度检索多个图像实例并聚合主观质量评分，验证实验表明该模型显著优于基于回归的模型。

    Jul, 2023

  • PromptIQA：通过提示提升无参考图片质量评估的性能和泛化能力

    通过使用图像 - 得分对（ISP）来引导预测，并通过数据增强策略训练，我们提出了 PromptIQA 方法来适应各种多样化的 IQA 任务需求，并具有更高的性能和更好的泛化能力。

    Mar, 2024