Apr, 2024

TextCenGen：面向文本到图像生成的注意力导向的文本中心背景适应

PDF
TL;DRTextCenGen 是一种新的文本图像生成方法，采用了力导向注意力引导模型，以生成更具和谐感的文字图像布局。在图形设计方面的实验结果显示，TextCenGen 相较于传统方法在布局上更出色，同时在特定文本位置的数据集上也显著提高了 Text-to-image 模型的结果。
text-to-image generationtextcengenforce-directed attentionvisual harmony generationtext-centric design
发现论文，激发创造
  • 具有语义 - 空间感知的 GAN 图像生成

    该论文介绍了一种基于生成式对抗网络的图像生成方法，引入了一种简单有效的语义 - 空间感知块，学习语义自适应变换，并在弱监督方式下学习语义掩膜，从而在保持视觉保真度的同时，能够对输入文本精准对齐。

    Apr, 2021

  • R&B：区域和边界感知的零样本基于文本生成图像

    这篇论文研究了利用扩散模型进行零样本生成的文本到图像转换方法，提出了一种基于区域和边界感知的交叉注意力引导方法，通过渐进调节扩散模型的注意力图来生成与输入布局信息相对应的高保真度、与文本输入高度兼容、准确解释布局指令的图像。实验证明，该方法在多个基准测试上在质量和数量上均优于现有的零样本生成方法。

    Oct, 2023

  • 通过对抗训练实现基于物体的文本到图像合成

    本文提出了一种基于对物体的关注的生成对抗网络，可用于复杂场景的文本到图像合成，该网络生成器长注重于文本描述中最相关的单词和预生成的语义布局，以合成显著物体，同时提出了一种快速区域卷积神经网络（Fast R-CNN）的新技术，以提供丰富的针对对象的区分信号，判断生成的物体与文本描述和预生成布局是否匹配。该提出的 Obj-GAN 在大规模 COCO 基准测试中表现出色，提高了 27％的 Inception 分数并降低了 11％的 FID 分数。通过分析它们的机制和可视化他们的注意层，提供了传统网格注意和新型对象驱动注意之间的全面比较，展示了本模型如何高质量地生成复杂场景的见解。

    Feb, 2019

  • 跨注意力控制实现免费本地化文本图像生成

    本研究发现，在推论期间通过简单控制交叉注意力图就可以实现本地化生成，同时提高了文本到图像生成模型的组成能力。

    Jun, 2023

  • 基于交叉注意力引导的无需训练的布局控制

    通过提示文本控制生成的图像在空间布局方面存在问题，因此我们提出了一种名为布局引导技术的新方法，该方法可以改进模型的交叉注意层，以实现所需的重建方向，并成功进行了定量和定性的实验验证与扩展。

    Apr, 2023

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024

  • 无需训练的增强主体注意力引导的文本到图像生成

    我们提出了一种主题驱动的生成框架，通过介入生成过程中的推理时间，强化注意力图，实现精确的属性绑定和特征注入，展示了卓越的零次生成能力，尤其在组合生成的挑战性任务中。

    May, 2024

  • 无需训练的位置感知文本到图像合成

    本文提出了一种新的交互式图像生成方案，以定位细粒度为目标，评价了生成模型控制位置的能力，并在图像质量和控制能力方面均表现出超过最先进方法的效果。

    Apr, 2023

  • 针对空间控制文本到图像生成的遮蔽注意力扩散引导

    用不需要额外的训练的方法，通过交叉关注地图和掩膜引导实现文本到图像生成的空间控制。实验结果表明，所提出的方法在定性和定量上比基线方法实现了更准确的空间控制。

    Aug, 2023

  • 使用 ControlNet 和交叉注意控制实现基于局部描述的布局到图像生成

    通过修改跨注意力矩阵，在保持图像质量的同时改进控制能力，本研究以 ControlNet 为例，研究了几种现有的跨注意力控制方法的局限性，并提出了一种新的跨注意力操纵方法，通过定位描述来实现对生成图像的精细控制。

    Feb, 2024