一种统一的框架用于整合 LLMs、知识图谱和可控扩散模型的一致性图像生成（PCIG）

Jun, 2024

一种统一的框架用于整合 LLMs、知识图谱和可控扩散模型的一致性图像生成（PCIG）

Prompt-Consistency Image Generation (PCIG): A Unified Framework Integrating LLMs, Knowledge Graphs, and Controllable Diffusion Models

PDF

Yichen Sun, Zhixuan Chu, Zhan Qin, Kui Ren

TL;DR通过引入一种基于扩散的新框架，本研究解决了现有文本生成图像模型在生成图像时与输入文本不一致的问题，通过对不一致现象进行细致分析和分类，并利用先进的语言模型提取对象、构建知识图谱，结合图像生成模型进行了准确一致的图像生成实验。

Abstract

The rapid advancement of Text-to-Image(T2I) generative models has enabled the synthesis of high-quality images guided by textual descriptions. Despite this significant progress, these models are often susceptible in generating contents that contradict the input text, which poses a challenge to their reliability and practical deployment. To address this probl

text-to-image generative models alignment diffusion-based framework inconsistency image generation

发现论文，激发创造

PCQA：基于提示条件的 AIGC 质量评估的强基准

研究提出了一种基于混合提示编码和基于集成的特征混合模块的 AIGC 质量评估框架，验证了方法在两个数据集上的有效性，从而促进了多模态生成领域的研究发展。

Apr, 2024

通过自动提示优化提升文本到图像的一致性

通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

Mar, 2024

基于统一提示引导的上下文修复框架用于基于参考图像的图像操作

本文提出了一种基于大规模 T2I 模型的 Prompt-Guided In-Context inpainting (PGIC) 框架，利用该框架可以实现参考引导的图像修复、局部超分辨率和新视角合成等任务，而且不需要对模型进行精细调整。同时，该框架利用了自注意力模块建立空间相关性来有效地解决参考引导的操作。实验表明，该框架相较于其他基于精细调整的方法，具有更好的性能表现和更少的计算成本。

May, 2023

通过 LLMs-AIGCs 协作进行系统性视觉适应的交互式数据合成

该文章介绍了一种基于 LLM 模型的 ChatGenImage 新模型，用于数据扩充和标注，以及探索 LLMs 与 AIGC 模型的互补优势，以实现更可控的图像生成，并首次尝试将它们合作用于自动数据增强，并呈现了令人惊叹的结果。

May, 2023

一种基于扩散的多回合组合图像生成方法

本文提出了一种名为条件去噪扩散与图像组成匹配 (CDD-ICM) 的基于扩散模型的多回合组合图像生成方法，利用 CLIP 作为图像和文本编码器的主干，并在每个 M-CIG 回合中，结合门控融合机制，将参考图像和修饰文本进行组合融合，通过条件方法生成目标图像，并引入反应结果的附加图像组成匹配 (ICM) 目标来优化生成图像语义质量。同时，采用 ICM 引导和无分类器引导进一步提高性能，在 CoDraw 和 i-CLEVR 两个基准数据集上取得了最新技术水平的结果。

Apr, 2023

盲人视觉 - 语言一致性引导的多模态提示学习用于 AI 生成图像质量评估

提出了一种基于视觉 - 语言一致性指导的多模态提示学习方法，称为 CLIP-AGIQA，用于盲目的 AI 生成图像质量评估，该方法在两个公共 AGIQA 数据集上的实验结果表明其优于现有的质量评估模型。

Jun, 2024

将文本提示引入 AI 生成的图像质量评估

通过图像和提示的融合，IP-IQA 是一个多模态框架，旨在解决 AI 生成图像质量评估中的问题，并在 AGIQA-1k 和 AGIQA-3k 数据集上达到最先进的水平。

Mar, 2024

文本到图像扩散模型的语义引导调整

最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

Dec, 2023

ICPC：基于对照学习的实例条件提示的语义分割

通过改进提示设计和损失函数，我们提出了一种实例条件提示与对比学习（ICPC）框架，改善了视觉和文本嵌入对准的质量，并在三个大规模数据集上展示出改进的性能。

Aug, 2023

VIGC: 视觉指令生成和校正

本文提出了视觉指令生成和校正（VIGC）框架，使多模态大型语言模型能够生成指令调整数据并在生成过程中逐步提高其质量。

Aug, 2023