Mar, 2024

AGFSync: 利用 AI 生成的反馈进行文本到图像生成中的偏好优化

PDF
TL;DR通过直接偏好优化（DPO）在完全人工智能驱动的方法中利用视觉 - 语言模型（VLM）评估图像质量，AGFSync 将 T2I 扩散模型改进，应用于 T2I 的核心模型并在 TIFA 数据集上显示出显著改善。
text-to-imagediffusion modelsagfsyncdirect preference optimizationtifa dataset
发现论文，激发创造
  • DreamSync：将文本到图像生成与图像理解反馈对齐

    通过使用无需标记数据的 DreamSync 训练算法，结合大视觉语言模型（VLMs）来改进文本到图像模型（T2I）的语义对齐和美观度。

    Nov, 2023

  • 通过 AI 反馈直接偏好优化提升您自己的人像生成模型

    通过使用直接偏好优化（DPO）的人体图像生成方法以及改进的损失函数，本文在人体图像生成领域取得了显著进展，达到了自然解剖结构、姿势和文本 - 图像对齐方面的优越结果。

    May, 2024

  • 文本 - 图像扩散与偏好的密集奖励观点对齐

    通过引入时间折扣机制以适应 T2I 生成层次结构，本文提出了一种可行的对齐目标，强调 T2I 反向链中的初始步骤，实验证明该方法在单个和多个提示生成方面与相关基线方法具有竞争力。

    Feb, 2024

  • DiffAgent: 快速准确的文本到图像 API 选择与大型语言模型

    通过使用 DiffAgent 和 SFTA 训练框架，该研究针对 T2I API 提供了准确和有效的模型选择，并使用 DABench 数据集进行了评估。

    Mar, 2024

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • 基于扩散的感知的文本图像对齐

    扩散模型是具有令人印象深刻的文本到图像合成能力的生成模型，对于传统机器学习任务产生了一系列创新方法。然而，如何运用这些生成模型的感知知识来进行视觉任务仍然是一个未解之谜。本研究发现，自动生成的描述能够改善文本图像对齐，并显著提升模型的交叉注意力图，从而提高知觉性能。我们的方法在 ADE20K 数据集上改进了当前最先进的基于扩散的语义分割模型，并在 NYUv2 数据集上改进了当前最先进的深度估计模型。此外，我们的方法适用于跨领域环境；我们使用模型个性化和标题修改来将模型与目标域对齐，并改善了非对齐基准的性能。我们的目标检测模型，在 Pascal VOC 数据集上训练，实现了 Watercolor2K 数据集上的最佳结果。我们的分割方法，在 Cityscapes 数据集上训练，实现了 Dark Zurich-val 和 Nighttime Driving 数据集上的最佳结果。

    Sep, 2023

  • 初尝不成，再试，再试：基于选择的忠实扩散文本到图像生成

    本研究证明大型 T2I 扩散模型比通常认为的更加忠实，无需修改生成过程即可生成对复杂提示忠实的图像。在此基础上，提出了一个简单的管道，根据自动评分系统为文本提示生成候选图像，并选择最佳图像，同时保持可比较或更低的计算成本。

    May, 2023

  • 多模态引导下的图像编辑与文本到图像扩散模型调查

    图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

    Jun, 2024

  • 通过自动提示优化提升文本到图像的一致性

    通过利用大型语言模型，在文本到图像的生成模型中改善提示 - 图像的一致性，我们的方法能够提高一致性得分、保持图像质量和提高生成图像与真实数据之间的相似度，为构建可靠且强大的文本到图像模型铺平了道路。

    Mar, 2024

  • 文本到图像生成的丰富人类反馈

    通过人类反馈信号提高图像生成质量，结合文本到图像生成模型和基于强化学习的人类反馈，标记不真实或不对齐的图像区域以及文本中被误代表或缺失的词，使用多模态变换器自动预测反馈，进一步改进图像生成方法。

    Dec, 2023