Apr, 2024

G-Refine：一种用于文本到图像生成的通用质量优化器

PDF
TL;DR通过引入 G-Refine 模型，本研究提出了一种通用图像质量修复方法，能够提高低质量图像的质量，同时不损害高质量图像的完整性，实验证明与传统方法相比，经过 G-Refine 处理的 AI-Generated Images 在多个质量指标上有显著改善。
text-to-image modelsai-generated imagesg-refineperception qualityalignment quality
发现论文，激发创造
  • Q-Refine：AI 生成图像的感知质量精修器

    通过引入图像质量评估指标和三个自适应流程，Q-Refine 提供了一种通用的图像精细化处理方法，可以对不同质量的 AI 生成图像进行有效优化，从而扩大了 T2I 生成模型的应用。

    Jan, 2024

  • PKU-I2IQA：基于图像的图像质量评估数据库用于 AI 生成图像

    基于人类感知的图像到图像 AIGC 图像质量评估数据库 PKU-I2IQA 的建立，引入两个基准模型：基于无参考图像质量评估的 NR-AIGCIQA 和基于全参考图像质量评估的 FR-AIGCIQA，并通过基准实验比较了两个模型的性能。

    Nov, 2023

  • GR-GAN: 逐步细化的文本到图像生成

    本文提出了一种渐进式精炼生成对抗网络 (GR-GAN) 用于高效解决生成图像与文本约束的一致性问题；包括 GRG 模块，ITM 模块以及新指标 CMD 的引入，并在实验中表现出了显著的优势。

    May, 2022

  • Idea2Img：基于 GPT-4V（ision）的迭代自我优化的自动图像设计与生成

    引入了 “Idea to Image” 系统，利用 GPT-4V (Vision) 进行多模态迭代自我精炼，实现自动图像设计与生成。

    Oct, 2023

  • RefineNet: 通过分层 Transformer 和渐进细化提高高分辨率和细节准确性的文本到图像转换

    我们介绍了 RefineNet，这是一种新颖的架构，旨在解决文本到图像转换系统中分辨率限制的问题。我们探讨了从文本描述生成高分辨率图像的挑战，重点关注详细准确性和计算效率之间的权衡。RefineNet 利用层次化 Transformer 结合渐进和条件改进技术，在生成详细、高质量图像方面优于现有模型。通过对多样数据集进行广泛实验，我们展示了 RefineNet 在清晰度和分辨率上的优势，特别适用于复杂图像类别如动物、植物和人脸。我们的工作不仅推动了图像到文本转换领域的发展，还为各种应用中高保真图像生成开辟了新的途径。

    Dec, 2023

  • AGIQA-3K: 人工智能生成图像质量评估的开放数据库

    该研究旨在解决基于文本生成图像的模型中存在的主观质量差异问题并提出了 StairReward 模型评估主观文本图像对齐的一致性，并以此建立了 AGIQA-3K 数据库。

    Jun, 2023

  • AGFSync: 利用 AI 生成的反馈进行文本到图像生成中的偏好优化

    通过直接偏好优化（DPO）在完全人工智能驱动的方法中利用视觉 - 语言模型（VLM）评估图像质量，AGFSync 将 T2I 扩散模型改进，应用于 T2I 的核心模型并在 TIFA 数据集上显示出显著改善。

    Mar, 2024

  • PKU-AIGIQA-4K：一种用于文本转图像和图像转图像 AI 生成图像的感知质量评估数据库

    近年来，图像生成技术迅速发展，产生了大量的人工智能生成图像（AIGIs），然而，这些 AIGIs 的质量不一致，并严重影响了用户的视觉体验。因此，基于人类感知角度评估 AIGIs 质量的 AI 生成图像质量评估（AIGIQA）引起了学者们的广泛关注，然而，现有研究尚未完全探索该领域。本研究通过构建名为 PKU-AIGIQA-4K 的大规模感知质量评估数据库，旨在填补现有研究领域中的关键空白，该数据库兼顾文本到图像和图像到图像的 AIGIs，提出了基于预训练模型的三种图像质量评估方法：无参考方法 NR-AIGCIQA，全参考方法 FR-AIGCIQA 和部分参考方法 PR-AIGCIQA，并利用 PKU-AIGIQA-4K 数据库进行了广泛的基准实验，与当前的图像质量评估方法进行了比较。

    Apr, 2024

  • AIGIQA-20K：AI 生成图像质量评估的大规模数据库

    通过考虑 15 个流行生成模型和动态超参数，本研究组织了一项挑战，全面评估人类主观评分、感知质量和文本图像对齐等方面，以创建迄今最大的细粒度 AIGI 主观质量数据库 AIGIQA-20K，并通过基准实验评估 16 个主流 AIGI 质量模型与人类感知之间的相应关系。预期该数据库将推动 AIGC 在视觉领域的进展。

    Apr, 2024

  • 基于文本和图像编码器的 AIGC 图像质量评估回归模型

    我们提出了一个基于文本和图像编码器的回归（TIER）框架，用于评估从人类感知角度来看的人工智能生成图像的质量，实验证明我们的方法在大多数情况下相较于基准表现出更优异的性能。

    Jan, 2024