Jun, 2024

FontStudio: 形状自适应扩散模型用于一致的字体特效生成

PDF
TL;DR我们引入一种新颖的形状自适应扩散模型，能够解释给定形状并在非规则画布内策划像素分布，用于生成多语言字体的文本效果；此外，我们还提出了一种训练免费的、形状自适应的效果转移方法，用于在生成的参考字母和其他字母之间传递纹理和字体效果信息。使用用户偏好研究验证了我们的 FontStudio 系统的有效性。
text-to-image generationmultilingual fontsshape-adaptive diffusion modelimage-text datasetfont effect transfer
发现论文，激发创造
  • 使用现成的扩散模型生成印刷文本

    该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将文本添加和修改在预设的背景上，保持整体的一致性。

    Feb, 2024

  • 利用扩散模型进行字体样式插值

    通过扩散模型插值一对有不同风格的参考字体，本研究提出了三种不同的插值方法：图像混合、条件混合和噪声混合，以生成新的字体风格。实验结果表明，这三种方法不仅可以生成预期的字体风格，还能生成一些偶然的字体风格。同时，与一种最新的风格条件拉丁字体生成网络模型进行比较，验证了使用扩散模型进行风格插值任务的有效性。

    Feb, 2024

  • 统计学基础下的文本效果转移

    本文研究探讨了在字体设计中生成出色特效的问题，并提出了一种基于空间分布统计分析的自适应多尺度纹理合成算法，通过软约束实现对样例全局空间分布和局部纹理图案的逐层合成，使样例的艺术字体与本地纹理和全局形态之间的匹配更加自然，相较于传统样式转移方法，本方法在各种文本效果上表现出更高的优越性。

    Nov, 2016

  • VecFusion: 矢量字体扩散生成

    我们提出了 VecFusion，这是一种新的神经架构，可以生成具有不同拓扑结构和精确控制点位置的矢量字体。通过级联扩散模型，我们的方法包括一个光栅扩散模型和一个矢量扩散模型。实验表明，与以前的矢量图形生成模型相比，我们的新的级联矢量扩散模型能够生成更高质量、具有复杂结构和多样化样式的矢量字体。

    Dec, 2023

  • 基于扩散模型的个性化文本图像生成

    本文旨在提高高质量图像的合成与精确文字自定义，为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText，利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战，我们训练了 ControlNet 模型用于一致性解码，从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能，并展示出优越的结果。

    May, 2024

  • FontDiffuser：基于多尺度内容聚合和风格对比学习的一次性字体生成

    提出了 FontDiffuser，一种基于扩散的图像生成方法，通过将字体模仿任务创新地建模为一个噪声去噪范式，有效地组合了全局和局部内容线索以提高复杂字符的精细笔画保留，并通过引入一个精心设计的风格对比损失利用风格提取器解耦图像中的风格，以更好地处理风格转移中的大规模变化。与之前的方法相比，FontDiffuser 在生成多样字符和风格方面表现出卓越的性能，特别是在处理复杂字符和大的风格变化时。

    Dec, 2023

  • RenderDiffusion: 将文本生成作为图像生成

    本篇论文提出了一种新的基于扩散模型的文本生成方法 —— extsc {RenderDiffusion}，它通过渲染目标文本为包含可视化语言内容的图形图像进行条件文本生成。该方法在四个条件文本生成任务和两类度量中都取得了比预训练语言模型更好的结果。

    Apr, 2023

  • VectorFusion: 基于像素扩散模型的文本到 SVG 的抽象转换

    该研究使用扩散模型和分数蒸馏采样，通过对像素图像的文本条件训练生成可导出为 SVG 的矢量图形，并在优化可微分的矢量图形栅格化器方面实现了语义知识的提取，实验结果表明其较之于过去的工作具有更高的生成质量和更丰富的样式，包括像素艺术和手绘图。

    Nov, 2022

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • TextDiffuser：扩散模型作为文本画家

    为解决扩散模型在渲染准确、连贯文本方面的问题，我们介绍了 TextDiffuser，并提供了第一个带有 OCR 标注的大规模图像文本数据集 MARIO-10M， 进行了实验和用户研究，表明 TextDiffuser 可以仅基于文本提示或与文本模板图像一起创建高质量的文本图像，并进行文本修复来重构不完整的带文本图像。完成的代码、模型和数据集可在官网 https://aka.ms/textdiffuser 获得。

    May, 2023