Aug, 2023

SSMG：基于空间 - 语义地图引导的自由式布局图像生成的扩散模型

PDF
TL;DR该研究介绍了一种采用特征图作为引导的新型空间 - 语义地图引导扩散模型 (SSMG)，通过丰富的空间和语义信息，实现了优于以往工作的生成质量和充足的空间和语义可控性。实验结果表明，SSMG 在保真度、多样性和可控性等多个指标上取得了非常有前景的结果，达到了新的技术水平。
text-to-image generative modelslayout-to-image generationspatial-semantic map guided diffusion modelrelation-sensitive attention mechanismlocation-sensitive attention mechanism
发现论文，激发创造
  • LayoutLLM-T2I: 从 LLM 中引导布局为文本到图像生成

    本研究提出了一种从文本提示中合成与之语义对齐的高保真度图像的方法，采用了粗到细的范式来实现布局规划和图像生成，并通过粒度不同的目标交互扩散方法以优于现有方法的方式生成布局和图像。

    Aug, 2023

  • 推导出您的布局：从大型语言模型中归纳出用于文本到图像合成的布局模式

    利用大型语言模型作为布局生成器，改进了文本到图像生成模型，通过生成合理的对象布局来增强图像的构图和空间准确性，从而提高了图像质量。

    Nov, 2023

  • 针对空间控制文本到图像生成的遮蔽注意力扩散引导

    用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

    Aug, 2023

  • 无标签神经语义图像合成

    我们提出了一种新的无标签条件的扩散模型，通过神经语意图像合成从预训练基础模型提取的神经布局作为条件来实现细粒度的空间控制，实验结果表明，通过神经语意图像合成合成的图片在语义分类、实例分离和物体方向上比较传统的无标签条件选项更具优势，同时，我们还展示了通过神经布局条件生成的图片能够有效地用于训练各种感知任务。

    Jul, 2024

  • LAW-Diffusion：基于布局扩散的复杂场景生成

    通过提出一种语义可控的布局感知 (Diffusion) 模型 (LAW-Diffusion)，本研究实现了准确的复杂场景生成，通过引入空间依赖解析器来编码在对象之间的位置感知的语义一致性作为布局嵌入，并产生具有感知上和谐对象风格和语境关系的场景。

    Aug, 2023

  • 面部生成的可控语义潜在扩散模型

    基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

    Mar, 2024

  • SEGA：利用语义维度指导扩散

    本文介绍了一种名为 SEGA 的文本生成图像方法，它能够使用户控制语义方向以生成多样化的高保真图像，并且在多种任务上展现了它的有效性和灵活性。

    Jan, 2023

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 空间语义循环挖掘用于指代图像分割

    本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross-scale Abstract Semantic Guided Decoder (CASG) 来凸显指代物的前景。实验证明，该方法在四个具有挑战性的数据集上表现优于其他先进算法。

    May, 2024

  • 文本到图像扩散模型的语义引导调整

    最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

    Dec, 2023