我们研究了应用于手写验证任务上的自监督学习方法，对比了多种生成式对比式自监督学习方法和手工特征提取器以及有监督学习在 CEDAR AND 数据集上的表现。结果显示，基于 ResNet 的变分自动编码器（VAE）在准确度上超越其他生成式方法，达到 76.3% 的准确度；而使用方差不变协方差正则化（VICReg）进行微调的 ResNet-18 在准确度上超越其他对比式方法，达到 78% 的准确度。使用预训练的 VAE 和 VICReg 进行下游的写作者验证任务，相对于 ResNet-18 有监督基准模型和 10% 的写作者标签，准确度相对提高了 6.7% 和 9%。

May, 2024

手写文本识别 (HTR) 是计算机视觉中一个相关的问题，由于其固有的可变性和对其解释所需的丰富的环境依赖性，其面临独特的挑战。本文研究了一种名为空间上下文自我监督学习（Spatial Context-based SSL）的方法，并探索了该方法在 HTR 中的应用和优化。我们的实验表明，所考虑的方法在一些基准案例中推动了 HTR 领域自我监督学习的最新技术进展。

Apr, 2024

本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。

Sep, 2020

通过自我监督学习从未标注的数据中提取丰富的表示，避免了对大规模数据集的标注成本。本研究针对在线手写文本的不断发展应用，提出了一种新颖的基于笔画部分遮罩的预训练任务 (POSM)，用于从英语和汉语两种语言的个人在线手写中提取信息丰富的表示，以及两种建议的微调预训练模型的流程。为了评估提取表示的质量，我们使用内在和外在评估方法。微调预训练模型可实现诸如作者识别、性别分类和利手性分类等任务的最新成果，并凸显了利用预训练模型优于从头开始训练模型的优点。

Oct, 2023

本文介绍了一种名为 Collaborative Self-Supervised Learning（ColloSSL）的新技术，利用用户多个设备收集的未标记数据来学习数据的优质特征，实验结果表明，ColloSSL 在多个实验设置中均优于全监督和半监督学习技术，与最佳基准测试成绩相比，F_1 得分的绝对增量最高达 7.9％；此外，ColloSSL 在低数据情况下也表现优异，仅利用最佳情况下可用的十分之一的标记数据即可优于全监督方法。

Feb, 2022

手写签名验证是生物识别和文件真实性方面的严峻挑战，最优特征选择和分类准确度显著提高了提出的离线签名验证方法的性能和结果验证预测向量。

Jan, 2024

使用卷积神经网络和特征学习过程，以写作人无关的方式对离线签名进行识别，从而提高系统性能和对技艺熟练的伪造的辨别能力。

May, 2017

通过引入与文本进行比较的任务，我们提出了一个无限制的二元分类器，其中包括一个手写识别特征提取器和一个多模态分类头，该分类头将特征提取器的输出与输入文本的向量表示进行卷积。我们的模型的分类头完全基于使用最先进的生成对抗网络创建的合成数据进行训练。我们证明，与直接使用最先进的手写识别模型来解决任务相比，尽管保持高回收率，但分类器可以进行校准，使平均精确度提高了 19.5%。这种巨大的性能提升可以在利用人 - 环自动化的应用中带来显著的生产力增长。

Sep, 2023

通过对比学习实现人机对齐的简单而有效框架，以提高大型语言模型与人类偏好的一致性。

Mar, 2024

本研究中，我们利用自监督学习范式 (SSL) 来学习未标记数据的深层次特征表达，提出了一种用于人类活动识别的动态时间规整 (DTW) 算法，强制特征在时间维度上对齐。我们的实验结果显示，该方法对于单一模态和多模态的情况均具有学习稳健特征表达的潜力，并在半监督学习中明显优于监督模型。

Oct, 2022