Sep, 2024

动态提示冻结文本至图像扩散模型以实现全景叙事对接

HTML
PDF
TL;DR本研究解决了全景叙事对接中图像与文本之间的细粒度对齐问题。通过提出一种提取-注入短语适配器(EIPA)，该方法动态更新短语提示以更好地与图像特征交互，显著提高了扩散模型在此任务上的表现。此外，设计的多层互聚合(MLMA)模块进一步增强了多层次特征的融合和细分。实验表明，该方法在基准测试中达到了新的最先进性能。
发现论文，激发创造
  • 全景叙事基础

    本文提出了一种名为全景叙事基础的新型任务，包括新的实验框架、地面真值和指标，并提出了一个强大的基线方法。文章提出了一种算法，将分布式叙事注释传输到 MS COCO 数据集的普透明分割的特定区域。通过使用分割，文中还以精细的层次接近视觉基础问题，并通过包括全景类别来实现图像的内在语义丰富度。

    Sep, 2021

  • PPMN：像素短语匹配网络用于单阶段全景叙事 grounding

    该研究提出了一种端到端的Pixel-Phrase匹配网络（PPMN），通过密集标注的像素-短语对而非稀疏的区域-短语对进行训练，以直接匹配每个短语与其对应的像素，并将它们简单组合以输出全景分割，同时也开发了一种 Language-Compatible Pixel Aggregation（LCPA）模块来进一步提高短语特征的区分能力，该方法在PNG基准测试中实现了新的最高性能。

    Aug, 2022

  • 基于端到端网络的实时全景叙事性 grounding

    本研究提出了一种用于实时PNG的单阶段网络，名为端到端全景叙事接地网（EPNG），通过将两个创新设计：局部感知关注（LPA）和双向语义对齐损失（SAL），用于处理文本表达式和视觉对象之间复杂的多对多关系，从而直接生成指示物的掩模，以及提高分段结果和语义一致性的泛化能力。

    Jan, 2023

  • SUR-adapter：使用大型语言模型增强文本到图像预训练扩散模型

    该研究探讨了如何改进文本生成图像的模型的问题，提出了一种称为Semantic Understanding and Reasoning adapter (SUR-adapter)的参数高效微调方法，以提高短文本输入的语义理解和常识推理能力，进而用提高的文本语义表征生成高质量图像。

    May, 2023

  • 利用精细语义奖励提升文本到图像扩散模型

    本文提出FineRewards方法，通过引入两种细粒度语义奖励——caption reward 和 SAM reward，从两个语义视角提升text-to-image中文本和图像的匹配，实现模态对齐。在使用多个奖励函数指导训练的时候，FineRewards方法在MS-COCO基准测试上优于其他基准奖励函数，并且与当前图像奖励的统一进一步提高了模型性能。

    May, 2023

  • 上下文有重要性：具有可变形注意力的端到端全景叙述关联匹配网络

    提出了一种名为DRMN（Deformable Attention Refined Matching Network）的新颖学习框架，通过引入可变形注意力，在特征学习的迭代过程中融入不同尺度像素的重要上下文信息，从而提高文本短语与图像像素之间的匹配结果。DRMN在PNG基准测试中取得了新的最先进结果，在平均召回率上提高了3.5%。

    Oct, 2023

  • 半监督全景叙事基准化

    本文介绍了一种新颖的半监督全景叙事 grounding 方案，利用少量带标签的图文对和大量无标签对来实现竞争性性能，并通过质量基配损失调整方法提高半监督网络以克服标注有限的挑战。

    Oct, 2023

  • 通过像素和物体背景来丰富短语以用于全景叙事引导

    通过设计Phrase-Pixel-Object Transformer Decoder（PPO-TD）来丰富与像素和物体上下文相关的短语特征，并提出Phrase-Object Contrastive Loss（POCL）从短语相关的物体标记中聚合更精确的物体上下文，这使得我们的方法在Panoptic narrative grounding基准测试中取得了新的最先进性能。

    Nov, 2023

  • ELLA：使用LLM增强语义对齐的扩散模型

    该研究提出了一种有效的大型语言模型适配器（ELLA），将文本到图像扩散模型与强大的大型语言模型相结合，以实现文本对齐，并且无需对U-Net或LLM进行训练。通过动态提取LLM中的时步相关条件，ELLA在不同阶段适应语义特征，帮助扩散模型解释复杂的长文本提示。该方法在稠密提示跟随中表现出优越性，尤其是涉及多个对象组成和多样属性关系的情况。

    Mar, 2024

  • 探索基于短语分时的文本至图像扩散模型

    通过扩展扩散模型的架构，本研究提出了一种使用提问学习的方法，实现了基于句子构建的图像理解，进而在零样例的情况下实现了上下文感知的短语级理解，证明了扩散模型在语境感知的短语级理解方面的能力。

    Jul, 2024