Jul, 2024

GlyphDraw2：使用扩散模型和大型语言模型自动生成复杂字形海报

PDF
TL;DR我们提出了一种端到端的文本渲染框架，利用三重交叉关注机制在细致的背景环境中创建精确的海报文本，验证了该方法生成具有复杂和丰富背景的海报图像的能力。
posterstext renderingend-to-endtriple cross-attention mechanismhigh-resolution dataset
发现论文，激发创造
  • 基于扩散模型的个性化文本图像生成

    本文旨在提高高质量图像的合成与精确文字自定义，为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText，利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战，我们训练了 ControlNet 模型用于一致性解码，从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能，并展示出优越的结果。

    May, 2024

  • TextDiffuser-2：释放语言模型在文本呈现中的能力

    通过使用语言模型进行布局规划，TextDiffuser-2 能够实现更合理的文本布局和具有增强多样性的生成。

    Nov, 2023

  • RenderDiffusion: 将文本生成作为图像生成

    本篇论文提出了一种新的基于扩散模型的文本生成方法 —— extsc {RenderDiffusion}，它通过渲染目标文本为包含可视化语言内容的图形图像进行条件文本生成。该方法在四个条件文本生成任务和两类度量中都取得了比预训练语言模型更好的结果。

    Apr, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 使用现成的扩散模型生成印刷文本

    该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将文本添加和修改在预设的背景上，保持整体的一致性。

    Feb, 2024

  • TextDiffuser：扩散模型作为文本画家

    为解决扩散模型在渲染准确、连贯文本方面的问题，我们介绍了 TextDiffuser，并提供了第一个带有 OCR 标注的大规模图像文本数据集 MARIO-10M， 进行了实验和用户研究，表明 TextDiffuser 可以仅基于文本提示或与文本模板图像一起创建高质量的文本图像，并进行文本修复来重构不完整的带文本图像。完成的代码、模型和数据集可在官网 https://aka.ms/textdiffuser 获得。

    May, 2023

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • FontStudio: 形状自适应扩散模型用于一致的字体特效生成

    我们引入一种新颖的形状自适应扩散模型，能够解释给定形状并在非规则画布内策划像素分布，用于生成多语言字体的文本效果；此外，我们还提出了一种训练免费的、形状自适应的效果转移方法，用于在生成的参考字母和其他字母之间传递纹理和字体效果信息。使用用户偏好研究验证了我们的 FontStudio 系统的有效性。

    Jun, 2024

  • 关系感知扩散模型用于可控海报布局生成

    通过 visual-textual 和 geometry 关系感知模块，提出一种基于 CGL-Dataset V2 数据集的海报布局生成方法，可以考虑海报的视觉和文本内容以及元素之间的关系，生成能够传达文本信息的多样化的海报布局，优于现有方法。

    Jun, 2023