Jun, 2024

基于视觉语言建模的图像质量评估：内容、失真和外观

PDF
TL;DR本文介绍了一种名为 SLIQUE 的新型盲目图像质量评估 (BIQA) 模型，该模型采用联合视觉 - 语言和视觉对比表示学习框架，通过获取关于图像语义内容、畸变特征和外观属性的高级知识来进行质量评估。为了训练 SLIQUE，我们开发了一种系统的方法来构建一个首个具有所有三类质量相关文本注释的大型图像数据库 TADAC。TADAC 数据库拥有超过 160 万张图像，用文本描述它们的语义内容、畸变特征和外观属性。构建 TADAC 的方法和数据库本身将特别有助于利用视觉 - 语言建模进行高级图像质量评估应用。大量实验结果显示，SLIQUE 在性能上优于现有技术，证明了其设计原理的完整性和实现的有效性。
发现论文，激发创造
  • 通过视觉 - 语言对应的盲图像质量评估：多任务学习视角

    提出了一种基于多任务学习的盲图像质量评估方法，可以自动学习来自其他任务的辅助知识，通过精心设计的损失函数进行优化，实验证明该方法可以优于现有技术在多个智商数据集上，并且在群体最大区分竞赛中更具鲁棒性。

    Mar, 2023

  • 野外环境下的图像描述性质量评估

    基于 Depicted Image Quality Assessment in the Wild (DepictQA-Wild) 方法构建了一个多功能的图像质量评估任务范式，包括评估和比较任务，从而构建了一个全面、大规模且高质量的数据集 DQ-495K，结果显示 DepictQA-Wild 在失真识别、即时评分和推理任务中明显优于传统基于分数的方法、之前的基于 Vision Language Models 的图像质量评估模型和专有的 GPT-4V。

    May, 2024

  • 多模态提示学习的盲目图像质量评估

    该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

    Apr, 2024

  • UniQA: 图像质量与美学评估的统一视觉语言预训练

    图像质量评估和图像美学评估的统一视觉语言预训练 (UniQA) 方法能够同时提高这两个任务的性能并展现优异的无需训练样本和少标签图像评估能力。

    Jun, 2024

  • 中心突出的视觉显著性和基于对比度的全参考图像质量指标

    本文提出了一种基于视觉显著性和对比度的全参考图像质量评估方法，该方法增加了中心区域的敏感度，通过在三个大规模的基准数据库上的实验验证，显示出与人类评估数值更强的相关性和更高的实时处理速度，并提供 MATLAB 代码以供测试。

    Dec, 2018

  • 非回归式盲图像质量评估

    基于检索相似的图像实例来评估图像质量的无回归框架，包含语义分类模块和畸变分类模块，根据语义和畸变相似度检索多个图像实例并聚合主观质量评分，验证实验表明该模型显著优于基于回归的模型。

    Jul, 2023

  • 盲图像质量评估：简要调查

    本综述对盲图像质量评估 (BIQA) 领域的最新发展和新兴趋势进行了全面分析和讨论，包括专注于特定畸变和通用方法的手工制作 BIQA、采用监督和无监督学习技术的深度学习 BIQA，以及考虑视觉与音频、视觉与文本模态之间相互作用的多模态质量评估方法。同时，还探讨了代表性的 BIQA 数据库，包括合成和真实畸变。我们相信，本综述对视觉质量社区的最新进展和新兴趋势提供了有价值的理解。

    Dec, 2023

  • 在实验室和野外学习盲目评估图像质量

    通过多个畸变场景下的图像数据库训练，我们提出的盲视觉质量评估深度网络模型可以有效地在实验室和野外进行盲目评估，比以前的方法具有更高的评估精度。

    Jul, 2019

  • 超越评分：通过多模态语言模型推进图像质量评估

    介绍了一种名为 DepictQA 的图像质量评估方法，利用多模式大型语言模型（MLLMs）进行详细的、基于语言的、类似人类的图像质量评估，相比传统基于分数的方法，DepictQA 可以描述性地解释图像内容和失真，并与人类的推理过程密切相关，通过建立分层任务框架并收集名为 M-BAPPS 的多模式 IQA 训练数据集来构建 DepictQA 模型，利用多源训练数据和专业图像标签来处理有限的训练数据和处理多个图像的挑战，DepictQA 在 BAPPS 基准测试中表现更好，更能生成准确的推理描述语言，研究结果表明基于语言的 IQA 方法有潜力根据个体偏好进行定制，数据集和代码将公开发布。

    Dec, 2023

  • 实验室和野外环境下的不确定性感知盲图像质量评估

    通过端到端优化特征工程和质量回归，盲目的图像质量评估（BIQA）模型的性能得到了显著提高。然而，由于实验室模拟的图像和野外拍摄的图像之间的分布偏移，仅在具有合成失真的数据库上训练的模型在处理现实失真方面仍然特别薄弱（反之亦然）。为应对跨失真场景的挑战，我们开发了一个 “统一” 的 BIQA 模型，并采用一种同时用于合成和真实失真的训练方法。

    May, 2020