Jul, 2023

T2I-CompBench：面向开放世界组合式文本到图像生成的综合基准测试

PDF
TL;DR本研究提出了 T2I-CompBench，这是一个全面的开放式文本成像生成基准测试，包括 6000 个组合文本提示，分为 3 个类别和 6 个子类别，并介绍了几个特定设计的评估度量标准，以评估组合文本到图像生成的效果，并提出了新的生成模型细调和奖励驱动的样本选择（GORS）方法来提高预训练文本到图像模型的组合文本到图像生成能力。
发现论文，激发创造
  • 文本与图像合成对比性组合基准：统一文本与图像保真度指标的研究

    Winoground-T2I 是一个用于评估 T2I 模型组成性的基准，通过包含 11K 个复杂、高质量的对比句对来进行评估，通过比较性句对来评估各种指标的可靠性，最后提供了关于指标的优点和缺点以及当前 T2I 模型在应对复杂组成类别挑战中的能力，该基准公开提供。

    Dec, 2023

  • 分离增强：用于文本到图像扩散模型的组合调优

    通过引入两种新目标函数（Separate loss 和 Enhance loss），减少物体遮挡区域重叠和最大化注意力分数，本研究提出了一个与传统方法不同的图文生成模型，通过关键参数的微调提高了其可扩展性和通用性，在图像真实性、文本 - 图像对齐性和适应性方面表现出卓越性能，将 Text-to-Image 扩散模型的组合能力和广泛适用性提升到了一个新的水平。

    Dec, 2023

  • TC-Bench：文本到视频和图片到视频生成中的时间复合性基准测试

    视频生成模型的时间组合性评估需要考虑新概念的出现和它们之间的转换，提出了一个基准测试集 TC-Bench，用于评估生成视频的过渡完成度和组件转换的完整性，结果表明现有的视频生成模型在解释组合性转换描述和综合不同时间步骤中的各种组件方面存在着巨大的改进空间。

    Jun, 2024

  • StyleT2I: 面向复合和高保真的文本到图像合成

    本文提出了一种新的框架，StyleT2I，旨在改善文本到图像合成的组合性，并且使用 CLIP 引导的对比损失、语义匹配损失和空间约束等方法来识别属性的潜在方向，从而更好地解开属性的潜在表示，最终获得更好的合成图像的组合性。

    Mar, 2022

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • PhyBench：用于评估文本到图像模型的物理常识基准

    通过引入 PhyBench 评估数据集，我们评估了 6 个主要的 T2I 模型，发现当前的 T2I 模型主要关注文本到图像翻译，缺乏对物理常识的深入推理；我们提倡对 T2I 模型内在知识的更多关注，超越它们仅仅作为图像生成工具的实用性。

    Jun, 2024

  • GenAI-Bench: 评估和改进文本到视觉生成能力

    本文通过对 GenAI-Bench 上的人类评分进行广泛研究，评估领先的图像和视频生成模型在复合文本到视觉生成的各个方面的性能，并发现 VQAScore 比先前的评估指标（如 CLIPScore）明显优于人类评分，而且 VQAScore 可以在黑盒的基础上通过简单地对候选图像进行排名（3 到 9 张）从而显著提高生成速度，在需要高级视觉语言推理的复合提示下，VQAScore 的排名效果比其他评分方法如 PickScore、HPSv2 和 ImageReward 提高 2 倍至 3 倍。

    Jun, 2024

  • 文本 - 图像组合检索的鲁棒性评估

    通过图文组合检索，通过由图像加上一些描述所构成的查询准确检索目标图像，在真实世界的损坏和进一步的文本理解下进行了坚固性研究，建立了三个用于系统分析的新的多样化基准，对视觉和文本的图文组合检索进行评估，包括自然失真的分析和文本理解的论证。

    Nov, 2023

  • RealCompo：现实主义与构成的动态平衡改进文本到图像扩散模型

    我们提出了一种新的训练免费和易于传输的文本到图像生成框架 RealCompo，旨在借鉴文本到图像和布局到图像模型的优势，增强生成图像的真实性和组合性，通过一个直观和新颖的平衡器动态平衡两个模型在去噪过程中的优势，允许任意模型的即插即用使用，广泛实验证明我们的 RealCompo 始终胜过最先进的文本到图像模型和布局到图像模型在多对象组合生成中同时保持令人满意的真实性和组合性。

    Feb, 2024

  • 分而治之：语言模型可用于规划和自我纠正组合式文本到图像生成

    我们提出了 CompAgent，这是一种无需训练的组合文本到图像生成方法，核心是一个大型语言模型代理。我们的方法在复杂的文本提示下能够保持对图像的可控性，尤其是在保留对象属性和关系方面，通过先将文本提示分解成独立的对象、属性和场景布局，并引入验证和人类反馈机制来进一步校正属性错误和改进图像生成。

    Jan, 2024