CVPRMar, 2023

基于视觉原型的手写文本生成

PDF
TL;DR本研究提出了一种基于 Transformer 模型生成手写文本，并将文本表示为密集向量序列的方法，其可用于生成含有少量样本的手写文本，使得即使在训练期间很少看到的字符也能够从它们的视觉原型中生成。
text generationtransformer modelfew-shot learninghandwritten textvisual archetypes
发现论文，激发创造
  • GANwriting：基于内容条件生成手写字体图片

    该研究通过提出一种基于书法风格特征和文本内容来调节生成过程的方法，使生成的手写单词图像更真实和多样化。该模型不受预定义词汇的限制，能够渲染任何输入的单词，并且在少量样本的情况下能够模仿样本写手的书法特征。研究通过定性、定量和基于人的评估显著超越了以往的研究。

    Mar, 2020

  • 手写变形器

    我们提出了一种新型的基于 Transformer 的手写文本样式图像生成方法，旨在学习样式 - 内容的缠结以及全局和局部写作风格模式。通过自注意机制，所提出的 HWT 捕捉了样式示例中的长距离和短距离关系，从而编码了全局和局部样式模式。此外，所提出的基于 Transformer 的 HWT 包括编码器 - 解码器注意力，通过聚集每个查询字符的样式表示来实现样式 - 内容缠结。

    Apr, 2021

  • 生成文本识别的合成数据

    本研究使用开源字体和数据增广技术生成 900 万份手写词图像，可用于训练深度神经网络并提高手写词识别的性能。

    Aug, 2016

  • Few-Shot 字体风格转移的多内容 GAN

    本文提出了一种针对高度风格化文字的部分观测并推广未观测字形的挑战，即通过以通道为内容、以网络层为风格的端到端堆叠有条件 GAN 模型生成一组遵循一致风格的多内容图像。该网络可以捕获真实世界中的高度风格化字体，并通过少量的已观察字形实现有效的推广。

    Dec, 2017

  • VATr++：为手写文本生成明智选择您的字词

    研究了手写体文本生成的影响因素，提出了输入准备和训练规范化策略，以获得更好的性能和更好的泛化能力，并提出了手写体文本生成的评估协议的标准化和全面的对比分析，推动该领域的进展。

    Feb, 2024

  • 用于合成至真实手写单词识别的无监督适应

    本文提出一种无监督的写手适应方法，使用合成字体完全训练出的识别器自动适应新的入职写手，从而提供了一种实用且通用的方法来处理新的文档收集，而不需要任何昂贵和繁琐的手动注释步骤。

    Sep, 2019

  • 基于文本和风格条件的 GAN 生成离线手写体行

    该论文提出了一个使用 GAN 和自编解码器技术来生成任意文本和隐向量样式下手写行图片的模型，研究表明该模型生成的图像具有人类书写的特征。

    Sep, 2020

  • 基于序列条件的手写文本图像对抗生成

    该研究提出了一种基于生成对抗网络的系统，可以合成手写单词的合成图像，并在将其与现有训练数据集集成后通过改进通用 GAN 体系结构进行离线手写文本识别。

    Mar, 2019

  • 基于字符的模型提升视觉文本渲染质量

    本研究探讨了影响当前图像生成模型难以可靠地生成良好文本图像的主要因素：流行的文本到图像模型缺乏字符级输入特征，这使得更难以预测一个单词的视觉构成为一系列字形。通过对比具有字符感知的与不具有字符感知的文本编码，我们在文本域内发现字符感知的模型在拼写任务上提供了巨大的收益。转化这些经验到图像领域，我们训练了一套图像生成模型，并表明在一系列的新文本渲染任务（我们的 DrawText 基准测试）上，字符感知的变体优于其字符盲的对手。尽管训练样本数量少得多，我们的模型在视觉拼写上设置了更高的最新水平，在罕见单词上比竞争对手多 30 多个点的准确率提升。

    Dec, 2022

  • 可伸缩矢量图形的学习表示

    该研究利用生成模型建立向量图形的连续生成模型，从而刻画字体绘制过程，提供了一种可操作的样式传播方法，有望成为平面设计师进行字体设计的工具。

    Apr, 2019