May, 2024

全局和局部图像感知评分（GLIPS）：评估人工智能生成图像的真实感质量

PDF
TL;DR该研究引入了全局 - 局部图像感知评分（GLIPS），一种用于评估人工智能生成图像与人类视觉感知高度一致的真实感图像质量的图像度量。GLIPS 利用先进的基于变换器的注意机制评估局部相似性和最大均值差异（MMD）评估全局分布相似性。人类研究表明，GLIPS 在真实感图像质量的相关性方面相比现有的指标如 FID、SSIM 和 MS-SSIM 具有更好的表现。此外，该研究还引入了插值缩放方法（IBS），通过使度量分数与人类评估标准更加一致，提高了度量分数的可解释性。该提出的度量和缩放方法不仅提供了更可靠的对人工智能生成图像的评估，还为图像生成技术的未来改进提供了指导。
global-local image perceptual scorephotorealistic image qualitytransformer-based attention mechanismsmaximum mean discrepancyinterpolative binning scale
发现论文，激发创造
  • R-LPIPS: 一个对抗鲁棒的感知相似性度量

    通过对抗训练的深层特征，我们提出了一种新的强鲁棒学习感知图像块相似度（R-LPIPS）度量，通过全面的实验，我们证明了 R-LPIPS 相比于经典的 LPIPS 度量的优越性。

    Jul, 2023

  • MR 图像到图像翻译的相似度度量指标

    图像到图像的转换在医学影像领域具有巨大影响，本研究介绍了用于图像合成评估的参考和非参考度量标准，并调查了九种需要参考的度量标准（SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC）以及三种非参考度量标准（BLUR、MSN 和 MNG）对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外，还测试了下游分割度量标准和三种归一化方法（Minmax、cMinMax 和 Zscore）的影响。通过合理选择和结合图像相似性度量标准，可以改进用于 MR 图像合成的生成模型的训练和选择，在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。

    May, 2024

  • 一个非监督的信息理论感知质量评估度量

    通过结合信息理论目标函数的最新进展和基于人类视觉系统的计算体系结构，以及对成对视频帧进行无监督训练，我们提出了感知信息度量（PIM），并在 BAPPS 图像质量评估数据集上证明 PIM 与监督度量相媲美，且在 CLIC 2020 的图像压缩方法排名预测方面优于监督度量，同时使用 ImageNet-C 数据集进行定性实验，证明 PIM 在架构细节方面具有鲁棒性。

    Jun, 2020

  • 攻击感知相似度度量

    本研究系统地研究了感知相似度测量方法在面临不可察觉的对抗扰动时的鲁棒性，发现广泛采用的 LPIPS 指标也容易受到空间变换的对抗扰动的攻击，这表明对抗性样本的问题需要被深入探究。

    May, 2023

  • 感知图像修复质量评估：一个新的数据集、评估基准和度量标准

    本文介绍了最新的反感知 (IR) 算法基于生成对抗网络 (GANs)，但其定量评估与视觉感知质量存在不一致性。为了回答现有的 IQa 方法能否客观评价最近的 IR 算法和促进 IQa 方法的发展，作者提出了一个大规模的 IQa 数据集 PIPAL，并针对 GAN 基础的 IR 算法，提出了一些新的基准方法和对空间错位改进的 IQa 网络。

    Nov, 2020

  • 利用 Conformer 和 Blind Noisy Students 来改进图像质量评估

    探索基于 transformer 的全参考图像质量评估模型的性能，并提出了一种基于半监督知识蒸馏的 IQA 方法，使用嘈杂的伪标签数据将全参考教师模型蒸馏到盲学生模型中。在 NTIRE 2022 感知图像质量评估挑战中，我们的方法取得了竞争力的结果。

    Apr, 2022

  • GIM：百万级生成图像操作检测与定位的基准测试

    我们设计了一个局部操作流程，融合了 SAM、ChatGPT 和生成模型，并提出了 GIM 数据集，该数据集具有大规模、丰富的图像内容和多样的生成操纵，能够更全面地评估 IMDL 方法并扩展其在不同图像上的适用性。此外，我们还提出了一种新颖的 IMDL 框架 GIMFormer，在 GIM 数据集上进行的大量实验证明了其在两个不同基准测试上明显超过了先前的最新工作。

    Jun, 2024

  • PIPAL：视觉图像修复的大规模图像质量评估数据集

    本文旨在回答两个问题：（1）现有的图像质量评估方法是否能客观评估最近的图像修复（IR）算法？（2）在打破当前基准的重点下，我们是否获得了更好的 IR 算法？为了回答这些问题并推动 IQA 方法的发展，我们贡献了一个大规模的 IQA 数据集，称为感知图像处理算法（PIPAL）数据集。该数据集包括基于 GAN 的方法的结果。通过 PIPAL，我们为 IQA 和超分辨方法提供了新的基准。实验表明，现有的 IQA 方法不能公平评估基于 GAN 的 IR 算法。最后，我们通过引入抗锯齿池化来改善 IQA 网络在基于 GAN 的扭曲上的性能，并取得了显著效果。

    Jul, 2020

  • LipSim：一个可证明鲁棒的感知相似度度量

    该研究论文通过对基于 ViT 的特征提取器集合的先进感知相似度度量的鲁棒性进行敏感性分析，提出了名为 LipSim（Lipschitz 相似度度量）的可靠感知相似度度量方法，并通过一系列实验证明了 LipSim 在自然分数、认证分数和图像检索应用方面的性能。

    Oct, 2023

  • 学习多维人类偏好的文本到图像生成

    通过引入偏爱条件模块到 CLIP 模型，我们提出了首个用于评估文本到图像模型的多维度偏好评分模型，称为 Multi-dimensional Preference Score（MPS）。MPS 在我们的 Multi-dimensional Human Preference（MHP）数据集上进行训练，在四个维度（审美、语义一致性、细节质量和整体评估）上获得 918,315 次人类偏好选择，涵盖了 607,541 张由各类最新文本到图像模型生成的图像。MPS 在三个数据集的四个维度上优于现有评分方法，为评估和改进文本到图像生成提供了有希望的指标。

    May, 2024