基于扩散模型的丰富印象字体生成
本文提出了一种针对高度风格化文字的部分观测并推广未观测字形的挑战,即通过以通道为内容、以网络层为风格的端到端堆叠有条件 GAN 模型生成一组遵循一致风格的多内容图像。该网络可以捕获真实世界中的高度风格化字体,并通过少量的已观察字形实现有效的推广。
Dec, 2017
提出了一种基于Component-Aware Module(CAM)和CG-GAN的字体生成新算法,指导相对简单的生成器实现更有效的监督,实现了分解内容和样式并在组件级别进行监督,成功应用于手写字生成和场景文本图像编辑并超越同类方法。
Apr, 2022
我们提出了VecFusion,这是一种新的神经架构,可以生成具有不同拓扑结构和精确控制点位置的矢量字体。通过级联扩散模型,我们的方法包括一个光栅扩散模型和一个矢量扩散模型。实验表明,与以前的矢量图形生成模型相比,我们的新的级联矢量扩散模型能够生成更高质量、具有复杂结构和多样化样式的矢量字体。
Dec, 2023
提出了FontDiffuser,一种基于扩散的图像生成方法,通过将字体模仿任务创新地建模为一个噪声去噪范式,有效地组合了全局和局部内容线索以提高复杂字符的精细笔画保留,并通过引入一个精心设计的风格对比损失利用风格提取器解耦图像中的风格,以更好地处理风格转移中的大规模变化。与之前的方法相比,FontDiffuser在生成多样字符和风格方面表现出卓越的性能,特别是在处理复杂字符和大的风格变化时。
Dec, 2023
通过扩散模型插值一对有不同风格的参考字体,本研究提出了三种不同的插值方法:图像混合、条件混合和噪声混合,以生成新的字体风格。实验结果表明,这三种方法不仅可以生成预期的字体风格,还能生成一些偶然的字体风格。同时,与一种最新的风格条件拉丁字体生成网络模型进行比较,验证了使用扩散模型进行风格插值任务的有效性。
Feb, 2024
本文使用卷积神经网络 (CNN) 框架和示例为基础的印象估计方法,解决了从实际字体图像中估计字体印象的挑战性任务,并对真实书籍封面图像中的书籍流派和字体印象之间的相关性进行了量化和定性分析。
Feb, 2024
我们提出了一种新的扩散方法,利用最新的扩散式生成模型从单一的条件化标准字形生成具有指定样式的CJK字形,证明我们的方法能够生成印刷和手写风格的字体,并在生成过程中展现出出色的零射击泛化能力,适用于非CJK但以中文为灵感的文字,有助于字体的平滑样式插值和生成位图图像以进行矢量化,从而为CJK字符的高质量生成模型辅助字体创作打开了大门,无论是用于排版还是艺术创作。
Apr, 2024
我们引入一种新颖的形状自适应扩散模型,能够解释给定形状并在非规则画布内策划像素分布,用于生成多语言字体的文本效果;此外,我们还提出了一种训练免费的、形状自适应的效果转移方法,用于在生成的参考字母和其他字母之间传递纹理和字体效果信息。使用用户偏好研究验证了我们的FontStudio系统的有效性。
Jun, 2024
本研究解决了扩散模型在生成非拉丁语言文本图像时的挑战,尤其是在特定字体或小字体文本的控制生成方面。我们提出的JoyType方法通过构建包含一百万对数据的训练集,并利用Font ControlNet提取字体风格信息,显著提升了文本风格在图像生成中的保持能力。实验结果表明,JoyType在视觉效果和准确性方面显著优于现有的最新方法,并可作为插件与其他模型整合,使得多样化图像风格的创作成为可能。
Sep, 2024