评估人工合成预训练在手写处理任务中的应用

Apr, 2023

评估人工合成预训练在手写处理任务中的应用

Evaluating Synthetic Pre-Training for Handwriting Processing Tasks

Vittorio Pippi, Silvia Cascianelli, Lorenzo Baraldi, Rita Cucchiara

TL;DR本文探讨了在合成单词图像上进行大规模预训练，以提高四项基准笔迹分析任务的性能。作者利用全监督目标对简单的卷积神经网络进行训练，得到编码笔迹风格的图像向量表示，进而实现了笔迹风格的作者检索、鉴别、验证、分类任务，并展示了该预训练策略提取了作者风格的丰富表征，可以在这些任务中得到与任务特定的最先进方法相竞争的结果。

Abstract

In this work, we explore massive pre-training on synthetic word images for enhancing the performance on four benchmark downstream handwriting analysis tasks. To this end, we build a large synthetic dataset of wor

pre-training handwriting analysis convolutional neural network vector representations writer style

发现论文，激发创造

生成文本识别的合成数据

本研究使用开源字体和数据增广技术生成 900 万份手写词图像，可用于训练深度神经网络并提高手写词识别的性能。

Aug, 2016

卷积识别模型特征与文本标签相结合的离线检测错误拼写的手写词

通过引入与文本进行比较的任务，我们提出了一个无限制的二元分类器，其中包括一个手写识别特征提取器和一个多模态分类头，该分类头将特征提取器的输出与输入文本的向量表示进行卷积。我们的模型的分类头完全基于使用最先进的生成对抗网络创建的合成数据进行训练。我们证明，与直接使用最先进的手写识别模型来解决任务相比，尽管保持高回收率，但分类器可以进行校准，使平均精确度提高了 19.5%。这种巨大的性能提升可以在利用人 - 环自动化的应用中带来显著的生产力增长。

Sep, 2023

在线手写文本分类的自监督表示学习

通过自我监督学习从未标注的数据中提取丰富的表示，避免了对大规模数据集的标注成本。本研究针对在线手写文本的不断发展应用，提出了一种新颖的基于笔画部分遮罩的预训练任务 (POSM)，用于从英语和汉语两种语言的个人在线手写中提取信息丰富的表示，以及两种建议的微调预训练模型的流程。为了评估提取表示的质量，我们使用内在和外在评估方法。微调预训练模型可实现诸如作者识别、性别分类和利手性分类等任务的最新成果，并凸显了利用预训练模型优于从头开始训练模型的优点。

Oct, 2023

如何选择预训练的手写识别模型用于单作者微调

通过对大型基准数据集和通过手写文本生成模型产生的合成数据集的研究，本文提出在大数据集上预训练手写文本识别模型，并在少量带有个人特点手写的小规模数据集上进行微调，以有效转录手稿。

May, 2023

用于合成至真实手写单词识别的无监督适应

本文提出一种无监督的写手适应方法，使用合成字体完全训练出的识别器自动适应新的入职写手，从而提供了一种实用且通用的方法来处理新的文档收集，而不需要任何昂贵和繁琐的手动注释步骤。

Sep, 2019

矢量化与光栅化：自监督学习用于草图和手写

本研究提出了两种用于自我监督特征学习的跨模态翻译预训练任务：矢量化和光栅化，这两种方法可以同时为矢量和光栅基于手绘数据进行下游分析提供编码器模块，本文参考了双重表述的手写和素描数据。实证结果表明我们的方法优于现有的单模态和多模态自我监督方法。

Mar, 2021

GANwriting：基于内容条件生成手写字体图片

该研究通过提出一种基于书法风格特征和文本内容来调节生成过程的方法，使生成的手写单词图像更真实和多样化。该模型不受预定义词汇的限制，能够渲染任何输入的单词，并且在少量样本的情况下能够模仿样本写手的书法特征。研究通过定性、定量和基于人的评估显著超越了以往的研究。

Mar, 2020

基于单个手写单词图像的深度自适应写手识别学习

该论文提出了一种基于多任务深度自适应学习的方法，利用深度卷积神经网络从显式内容识别的辅助任务中学习通用的特征，从而提高单词图像的写作者识别性能。

Sep, 2018

使用深度卷积神经网络学习离线手写签名验证特征

使用卷积神经网络和特征学习过程，以写作人无关的方式对离线签名进行识别，从而提高系统性能和对技艺熟练的伪造的辨别能力。

May, 2017

基于自监督学习的手写验证

我们研究了应用于手写验证任务上的自监督学习方法，对比了多种生成式对比式自监督学习方法和手工特征提取器以及有监督学习在 CEDAR AND 数据集上的表现。结果显示，基于 ResNet 的变分自动编码器（VAE）在准确度上超越其他生成式方法，达到 76.3% 的准确度；而使用方差不变协方差正则化（VICReg）进行微调的 ResNet-18 在准确度上超越其他对比式方法，达到 78% 的准确度。使用预训练的 VAE 和 VICReg 进行下游的写作者验证任务，相对于 ResNet-18 有监督基准模型和 10% 的写作者标签，准确度相对提高了 6.7% 和 9%。

May, 2024