Jun, 2023

Wuerstchen：文本到图像模型的高效预训练

PDF
TL;DR介绍了一种新颖的文本到图像合成技术 Wuerstchen，它在有限的硬件资源下实现了竞争性能和无前例的成本效益和易训练性。该方法利用最近机器学习的进展，在强潜在图像压缩率上采用潜在扩散策略，可显著降低计算负担，同时保留或提高所生成图像的质量，为实时应用提供了可行性。与最先进的模型相比，Wuerstchen 具有显著的推理速度改进，并且仅需 9200 GPU 小时的有限训练成本，能够大幅降低一般成本且不影响最终性能。通过 Wuerstchen，我们在文本到图像合成领域向前迈出了一大步，并为未来研究提供了一种创新的探索路径，从而将 AI 技术的应用民主化
发现论文，激发创造
  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • SnapFusion：移动设备上的文本到图像扩散模型，两秒钟内完成

    该研究通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。

    Jun, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 预训练是图像到图像翻译的全部所需

    本文提出一种基于预训练的图像到图像翻译方法，采用一个通用的 framework 将先前 image-to-image 方法中需要精心设计的结构转化为 downstream 任务，并引入了一个预处理的 diffusion model 和敌对训练来提高质量。在 ADE20K、COCO-Stuff 和 DIODE 等数据集上进行的实验表明，我们提出的基于预训练的 image-to-image translation (PITI) 能够合成逼真、忠实的图像。

    May, 2022

  • E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

    通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

    Jan, 2024

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 用于文本到图像扩散模型的零样本空间布局调节

    使用文本生成图像的方法已显著提高了生成图像建模的状态，通过结合自然语言界面和空间控制，在本文中，我们考虑了与图像画布上特定位置对象相关的文本生成图像的问题，并提出了 ZestGuide，这是一种零 - shot 分割指导方法，可插入预先训练的文本到图像扩散模型中，我们的实验结果表明，在精准对齐所需的输入分割的情况下，与使用相应分割进行训练的组件相比，提高了图像质量，而在 COCO 数据集上，我们的结果比 Paint with Words 更好。

    Jun, 2023

  • 小波扩散模型：快速可扩展的图像生成器

    通过提出一种基于小波的扩散方案以及使用重构项来提高模型训练收敛性，本文旨在缩小扩散模型与 GAN 模型之间速度差距，实验结果证明该方案是实现实时高保真扩散模型的基础。

    Nov, 2022

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024

  • 优化文本到图像生成：走向准确、无需训练的字形增强图像生成

    改进了 LenCom-Eval 和 MARIO-Eval 基准测试的 OCR 效果的训练自由框架，提供了生成包含长且少见文本序列图像的新方法。

    Mar, 2024