May, 2024

连接显著性预测与图像质量评估之间的差距

PDF
TL;DR过去几年中，深度神经模型在图像质量评估 (IQA) 方面取得了显著进展，但由于深度神经网络的复杂性，其成功的原因仍不清楚。本文通过进行实证研究揭示了 IQA 和 Saliency Prediction 任务之间的关系，证明了前者包含了后者的知识，并引入了一个新颖的 SACID 数据集进行大规模的经典和基于神经网络的 IQA 方法比较。
deep neural modelsimage quality assessmentiqasaliencysacid dataset
发现论文，激发创造
  • 中心突出的视觉显著性和基于对比度的全参考图像质量指标

    本文提出了一种基于视觉显著性和对比度的全参考图像质量评估方法，该方法增加了中心区域的敏感度，通过在三个大规模的基准数据库上的实验验证，显示出与人类评估数值更强的相关性和更高的实时处理速度，并提供 MATLAB 代码以供测试。

    Dec, 2018

  • 非回归式盲图像质量评估

    基于检索相似的图像实例来评估图像质量的无回归框架，包含语义分类模块和畸变分类模块，根据语义和畸变相似度检索多个图像实例并聚合主观质量评分，验证实验表明该模型显著优于基于回归的模型。

    Jul, 2023

  • 深度视觉显著性模型的理解与可视化

    通过分析深度显著性模型中间层个体神经元学习的特征表示，研究表明：一些视觉区域已经预先编码在对象识别的网络的各个层中，预先训练模型 fine-tuning 以进行显著性预测会使它们偏爱某些类别，在自然图像上，深层显著性模型胜于传统模型，但在人造刺激上表现反其道而行之。

    Mar, 2019

  • 深度显著性模型对视觉注意力的学习

    通过分解隐含特征为可解释的基底，提出了一种新的分析框架，用于研究深度显著性模型成功背后的隐含特征、显著性预测的原理以及其对不同应用场景中的视觉注意力的影响。

    Oct, 2023

  • 利用简单生成表现评估图像质量

    自动编码器 VAE-QA 是一种用于在全参考下预测图像质量的简单高效方法，通过利用现有的自动编码器，它显著提升了跨数据集的泛化能力，具有更少的可训练参数、较小的内存占用和更快的运行时间。

    Apr, 2024

  • 多模态提示学习的盲目图像质量评估

    该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

    Apr, 2024

  • 通过视觉 - 语言对应的盲图像质量评估：多任务学习视角

    提出了一种基于多任务学习的盲图像质量评估方法，可以自动学习来自其他任务的辅助知识，通过精心设计的损失函数进行优化，实验证明该方法可以优于现有技术在多个智商数据集上，并且在群体最大区分竞赛中更具鲁棒性。

    Mar, 2023

  • 可解释人工智能对人类表现的影响：对显著性图行为后果的系统综述

    68 个用户研究的系统综述发现，显著性图可以增强人类表现，但也常见到零效应甚至负效应。这些效应受多个因素的调节，包括人类任务、AI 性能、XAI 方法、待分类的图像、人类参与者和比较条件等。图像任务中的效益不如 AI 任务中常见，但效果取决于具体的认知需求。此外，效益通常局限于 AI 任务中的错误预测，而在图像任务中局限于正确预测。与 XAI 相关的因素影响较小。对于图像和人类相关的因素，证据有限且效应高度依赖于比较条件。这些发现可能有助于未来用户研究的设计。

    Apr, 2024

  • 显著性的精细优化：基于显著性的生物特征攻击检测模型训练

    融入人类感知智能到模型训练能增强在难度较高的生物特征任务中的泛化能力，如攻击检测和合成样本检测。本文研究了不同的显著性粒度水平，通过使用简单但有效的显著性后处理技术，在数个卷积神经网络中实现了增强的攻击检测和合成人脸检测的泛化能力。

    May, 2024

  • Re-IQA: 野外图像质量评估的无监督学习

    本文提出了一种混合专家方法来进行自动感知图像质量评估，使用 Re-IQA 框架训练两个独立的编码器来学习高级和低级图像特征，并使用得到的图像表示来训练线性回归模型以提高评估准确性。实验表明，深度神经网络在无监督设置下训练可以产生具有感知相关性的表示。

    Apr, 2023