GenzIQA:使用提示引导的潜在扩散模型进行通用图像质量评估
现代无参考图像质量评估(NR-IQA)模型可以有效量化感知图像质量,在固定测试集上模型预测与人类感知评分之间存在高相关性。然而,在从感知优化的角度比较 NR-IQA 模型方面几乎没有取得进展。本文首次证明 NR-IQA 模型可以被插入到最大后验估计(MAP)框架用于图像增强,通过在可微且双射的扩散隐变量而不是原始像素域中进行梯度运算。不同的 NR-IQA 模型可能导致不同的增强图像,最终需要经过感知测试。这为在合成分析框架内比较 NR-IQA 模型提供了一种新的计算方法。与传统基于相关性的度量方法相比,我们的方法在感知优化的背景下提供了互补的洞察力,用于评估竞争的 NR-IQA 模型的相对优点和缺陷。
Mar, 2024
使用扩散模型进行无参考图像质量评估的研究,开发了新的扩散恢复网络以及两个视觉评估分支,实验证明该模型在无参考图像质量评估中优于现有方法。
Feb, 2024
无参考图像质量评估中,无监督学习的质量表示具有广泛的扭曲捕捉能力,并通过视觉语言模型提取高层次的图像质量信息,将这两组特征结合训练简单回归器有效预测质量,并展示了这些特征在数据有效和零样本情况下的优越性能。
Dec, 2023
基于扩散先验的盲目图像质量评估(DP-IQA)方法利用预训练扩散模型的先验知识,通过提取多级特征和解码来估计图像质量得分,实验结果表明我们的方法在各种自然图像数据集上取得了最先进的结果,并展示了我们方法在全局建模和利用扩散的层次特征线索评估图像质量方面的优越性。
May, 2024
提出了一种新颖的预训练框架,通过从通用视觉语言模型中选择性提取与图像质量相关的知识,并利用大型数据集的可扩展性,构建了一种适用于图像质量评估的通用表示。同时我们的方法在多个数据集上取得了最先进的性能,并展现了显著的泛化能力。
Jun, 2024
探索了针对盲目图像质量评估 (BIQA) 的扩散模型的感知特征扩散图像质量评估 (PFD-IQA) 方法,提出了一个感知先验发现和聚合模块和一个基于感知先验的特征细化策略来消除质量感知特征中的噪声,该方法在八个标准 BIQA 数据集上进行的实验证明其优于现有方法,达到了 0.935 和 0.922 的 PLCC 值。
Jan, 2024
提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA,可以从无标签图像数据中学习图像质量特征,并利用预训练的编码器进行线性回归模型的微调,实现了对图像的低频降级信息(如颜色变化、模糊等)的先进性能评估。
May, 2024
该文章介绍了一种基于多模式提示的创新图像质量评估方法,通过精心设计的提示,从视觉和语言数据中挖掘增量语义信息,在不同数据集上展现出竞争性能,达到了鲁棒性和准确性的提升。
Apr, 2024
本文提出了一种新的人脸图像质量评估方法 DifFIQA,它基于去噪扩散概率模型(DDPM)的前向和后向过程来评估人脸图像的质量。该方法通过量化 DDPM 造成的扰动对相应图像嵌入的影响,并将其用于质量预测。此外还提出了基于回归的质量预测器 DifFIQA(R),以平衡性能和执行时间。该方法在 7 个数据集上进行了全面的实验,并与 4 个目标 FR 模型和 10 个最先进的 FIQA 技术进行了对比,表现良好。
May, 2023
扩散模型为一种强大的生成模型,能够从纯噪声中生成高质量的图像。条件扩散模型通过简单的文本提示能够指定所需图像的内容,然而,仅仅基于文本提示无法对最终图像的构成和布局进行细致的控制,而这取决于初始噪声分布。本文探讨了两种改进方法,并演示了当这两种方法结合使用时可以获得更好的性能。
May, 2024