Mar, 2024

文本到图像生成中现象空间的倾斜阻碍了泛化

PDF
TL;DR文献对文本到图像生成的研究存在实体与关系合成的问题，缺乏对有效学习实体关系组合的形式理解，以及缺乏明确定义有意义反映问题结构的现象空间，导致对大规模预训练数据期望的泛化。我们假设现象学概括的覆盖范围没有成比例地增加，导致呈现现象的偏斜对泛化有害。我们引入了统计度量模型数据集的语言和视觉偏斜，证明文本到图像生成的泛化失败是不完整或不平衡的现象学覆盖直接结果。我们首先在合成领域进行实验，证明系统控制的度量强烈预测了泛化性能。然后我们转向自然图像，并展示了在我们的理论指导下对分布进行简单扰动即可增强泛化能力，而无需扩大绝对数据规模。本研究指出了一个重要方向，即提高数据多样性或平衡，与绝对规模扩大成正交。我们的讨论指出了两个重要问题：1）评估产生的实体关系组合，以及 2）用于推理抽象关系的更好模型。
text-to-image generationentity-relation compositionsphenomenological coveragegeneralization failuresdata diversity
发现论文，激发创造
  • 在文本引导的图像生成中测试关系理解

    本研究使用了 15 种基本物质和社会关系对最近的文本引导图像生成模型 DALL-E2 进行了系统的经验性考察，发现只有大约 22％的图像与基本关系提示匹配。研究结果表明，当前的图像生成模型尚未掌握涉及简单对象和代理人的基本关系，本文从认知和计算两个角度，提出可能的改进方向。

    Jul, 2022

  • 同一领域内的视觉表示学习无法进行强泛化

    通过对 17 种无监督，弱监督和完全监督的表征学习方法进行测试，本文观察到这些模型对于简单数据集中存在的发生因素都无法正确学习机制，且随着测试数据集的现实性增强，它们的泛化能力显著下降。

    Jul, 2021

  • 关于证据的一般价值和双语场景文本视觉问答

    该研究提出了一个多语言数据集，旨在解决视觉问题回答方法的泛化问题，利用基于推理的度量方法来鼓励泛化，并通过提供实验证据表明数据集的价值。

    Feb, 2020

  • 利用文本为视觉表示建立通用领域基础

    本文提出了一种基于自然语言监督的跨模态领域泛化方法，利用视觉和文本交互的表征来实现高级别类别判别的信息融合，并使用可解释的模型来生成解释，从而提高模型的泛化能力和性能。作者的方法在多个数据集上均取得了最新领先的结果。

    Jul, 2022

  • 通过自动派生的数据集改进文本到图像生成中的显式空间关系

    现有文献观察到当前的文本到图像系统不能准确反映物体之间的显式空间关系，我们假设这是因为训练这些模型的图像标题很少包含显式空间关系。为此，我们提出了一种自动方法，给定现有图像生成包含 14 种显式空间关系的合成标题。我们引入了 Spatial Relation for Generation (SR4G) 数据集，其中包含 990 万个图像标题对进行训练，并且包含超过 6 万个用于评估的标题。为了测试泛化性能，我们还提供了一个 ' 未见过 ' 的分割，其中训练和测试标题中的对象集是不相交的。SR4G 是首个可以用于空间微调文本到图像系统的数据集。我们显示微调两个不同的稳定扩散模型（称为 SD$_{SR4G}$）可以使 VISOR 指标提升高达 9 个点。改进结果在 ' 未见过 ' 的分割中依然有效，表明 SD$_{SR4G}$ 可以推广到未见过的对象。SD$_{SR4G}$ 通过更少的参数改进了最先进的方法，并避免了复杂的架构。我们的分析显示改进对于所有关系都是一致的。数据集和代码将公开提供。

    Mar, 2024

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019

  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 文本到图像生成中的空间关系基准测试

    本文研究基于大规模文本到图像合成 (T2I)，研究其中的空间理解能力，并提出了一个评估指标 VISOR，并引入一个大规模的数据集 SR2D 以及自动化评估管道，对 T2I 模型进行了大规模实验，发现其在多对象和空间关系生成方面存在严重限制和偏差，并提供了数据集和评估指标以支持 T2I 空间推理研究。

    Dec, 2022

  • 评估语义空间中分布假设的限制：基于特质的关系知识和共现影响

    研究探讨了关于如何使数据获取自然语言的有意义的表示，包括评估英语和西班牙语语义空间如何捕捉与概念相关的特征，以及探索共现在这种情况下的作用。

    May, 2022

  • 处理知识图谱补全中的长尾关系和罕见实体

    该研究提出了一种基于元学习的框架，通过使用文本描述来处理罕见关系和少见实体，其中包括一个新颖的模型来更好地从文本描述中提取关键信息，并引入了新的生成模型来增强性能。实验结果表明，此框架处理罕见关系和少见实体时优于以往的方法。

    Sep, 2019