Dec, 2023

PSCR: 基于补丁采样的对比回归在 AIGC 图像质量评估中的应用

PDF
TL;DR人为智能生成内容图像质量评估中引入基于对比回归的框架以及基于补丁采样的策略可以显著提高模型性能。
artificial intelligence generated contentaigc image quality assessmentcontrastive regression frameworkpatches sampling strategymodel performance
发现论文，激发创造
  • 基于文本和图像编码器的 AIGC 图像质量评估回归模型

    我们提出了一个基于文本和图像编码器的回归（TIER）框架，用于评估从人类感知角度来看的人工智能生成图像的质量，实验证明我们的方法在大多数情况下相较于基准表现出更优异的性能。

    Jan, 2024

  • PCQA：基于提示条件的 AIGC 质量评估的强基准

    研究提出了一种基于混合提示编码和基于集成的特征混合模块的 AIGC 质量评估框架，验证了方法在两个数据集上的有效性，从而促进了多模态生成领域的研究发展。

    Apr, 2024

  • PKU-I2IQA：基于图像的图像质量评估数据库用于 AI 生成图像

    基于人类感知的图像到图像 AIGC 图像质量评估数据库 PKU-I2IQA 的建立，引入两个基准模型：基于无参考图像质量评估的 NR-AIGCIQA 和基于全参考图像质量评估的 FR-AIGCIQA，并通过基准实验比较了两个模型的性能。

    Nov, 2023

  • AIGIQA-20K：AI 生成图像质量评估的大规模数据库

    通过考虑 15 个流行生成模型和动态超参数，本研究组织了一项挑战，全面评估人类主观评分、感知质量和文本图像对齐等方面，以创建迄今最大的细粒度 AIGI 主观质量数据库 AIGIQA-20K，并通过基准实验评估 16 个主流 AIGI 质量模型与人类感知之间的相应关系。预期该数据库将推动 AIGC 在视觉领域的进展。

    Apr, 2024

  • 基于 Transformer 的无参考图像质量评估通过监督对比学习

    在这篇论文中，我们提出了一种基于监督对比学习与 Transformer 的图像质量评估模型 SaTQA，该模型通过 SCL 在大规模合成数据集上进行训练，从而提取出具有各种失真类型和水平的图像退化特征，并结合了 CNN 的归纳偏置和 Transformer 的长期依赖建模能力来进一步提取图像的失真信息，最终通过融合对比学习学到的退化特征和骨干网络提取的感知失真信息获取最终的失真图像质量得分。实验结果表明，SaTQA 在合成和真实数据集上都优于目前的最先进方法。

    Dec, 2023

  • PKU-AIGIQA-4K：一种用于文本转图像和图像转图像 AI 生成图像的感知质量评估数据库

    近年来，图像生成技术迅速发展，产生了大量的人工智能生成图像（AIGIs），然而，这些 AIGIs 的质量不一致，并严重影响了用户的视觉体验。因此，基于人类感知角度评估 AIGIs 质量的 AI 生成图像质量评估（AIGIQA）引起了学者们的广泛关注，然而，现有研究尚未完全探索该领域。本研究通过构建名为 PKU-AIGIQA-4K 的大规模感知质量评估数据库，旨在填补现有研究领域中的关键空白，该数据库兼顾文本到图像和图像到图像的 AIGIs，提出了基于预训练模型的三种图像质量评估方法：无参考方法 NR-AIGCIQA，全参考方法 FR-AIGCIQA 和部分参考方法 PR-AIGCIQA，并利用 PKU-AIGIQA-4K 数据库进行了广泛的基准实验，与当前的图像质量评估方法进行了比较。

    Apr, 2024

  • 增强式补丁编码提示图像生成

    我们提出了一种基于修补增强遮罩编码器的方法，以确保准确的产品描述，并同时保留多样的背景图像。我们的方法包括三个组成部分：补丁灵活可见性、遮罩编码器提示适配器和图像基础模型。实验结果显示，与其他方法相比，我们的方法在视觉结果和 FID 评分方面都能达到最高水平。

    May, 2024

  • AIGCIQA2023：AI 生成图像的大规模图像质量评估数据库：从质量、真实性和一致性的角度出发

    本文建立了一个大规模的 AIGC IQA 数据库，用于评估人类对于每个图像的质量、真实性和对应性的视觉偏好，并在该数据库上进行了基准实验来评估几个最先进的 IQA 度量标准的性能。

    Jul, 2023

  • 基于交叉注意力增强双流网络的人工智能图像检测

    本研究提出了一种使用文本到图像生成过程中的残差网络和内容网络结合的检测方法以及跨多头注意机制来检测 AI 产生的虚假图片，并取得了优于传统 CG 检测技术的结果。

    Jun, 2023

  • SACReg: 场景无关的坐标回归视觉定位

    在这篇论文中，我们提出了一种新的范式，即训练一个单一的通用场景坐标回归模型，然后将其部署到新的测试场景中，无论其规模如何，也无需进一步微调。该模型基于转换器架构，可以接受可变数量的图像和稀疏的 2D-3D 注释作为输入，并在一些多样的数据集上进行训练，显著优于其他场景回归方法，包括针对视觉定位的特定场景模型，并在剑桥定位基准测试中创造了新的最佳表现，甚至超过基于特征匹配的方法。

    Jul, 2023