本文中，使用 Transformer 模型结构对在线手写手势符号转化为自然语言句子进行了研究，并展示了该模型的编码器解决多级分割、学习某些语言特征和语法规则等方面的优秀表现。此外，使用学习的 Byte-Pair-Encoding（BPE）和大型解码空间为数据输入和语法规则提供了鲁棒性。研究表明该模型具有迁移学习能力，适用于许多其他语言，并可用于泛用性的手写识别任务。最终，基于一个新的手写手势数据集训练小型 Transformer 模型，对于英语、德语句子平均归一化 Levenshtein 准确率达到 96％，对于法语则为 94％。

May, 2023

该论文研究了基于敲击行为的生物特征识别与验证方法，提出了一种基于 Transformer 的网络模型，通过自注意机制从敲击序列中提取信息特征，超越了传统的循环神经网络的性能。该研究探索了两种不同的网络架构，分别是双编码器和交叉编码器，并比较了它们在敲击身份验证中的效果。同时，作者还研究了不同的损失函数和距离度量方法，通过一系列实验优化了训练过程，提高了模型性能。通过使用 Aalto 桌面敲击数据集进行评估，结果表明采用批量全三元组损失和余弦距离的双编码器架构取得了最佳性能，等错误率仅为 0.0186%。此外，通过尝试使用一类支持向量机等替代算法计算相似度得分，进一步提高了准确性，使等错误率达到 0.0163%。研究结果表明，该模型超越了自由文本敲击身份验证领域的最新技术水平，为进一步发展敲击身份验证领域并提供安全的用户验证系统提供了实际意义。

Oct, 2023

手写签名验证是生物识别和文件真实性方面的严峻挑战，最优特征选择和分类准确度显著提高了提出的离线签名验证方法的性能和结果验证预测向量。

Jan, 2024

该研究使用 Transformer 架构为端到端的在线手写手势建立表达式树提供了强大的框架，并成功利用了注意力机制编码、学习和执行表达式的潜在语法，提供了鲁棒性，并提出了一个新的度量标准用于输出表达式树的语法正确性的评估。

Nov, 2022

本文提出了一种新颖的、面向自动签名验证任务的独立于作者的全局特征提取框架，其中包括一个自编码器和一个连体网络来实现样本的建模和分类，利用注意机制和降采样的技术，提高了框架的准确度，其简单性使其计算成本低，并且可以在 GPU、TPU 等设备上并行使用。在两个数据集上的实验表明，该方法相对于最佳报告结果取得了显著的准确度提高。

Dec, 2017

本研究引入了一种创新的基于深度学习技术的交通标志识别（TSR）方法，特别强调视觉变换器。实验评估结果表明，该方法在提高预测速度和准确性方面具有显著的效果，为 TSR 算法的精确可靠开发奠定了基础，受益于驾驶辅助系统和自动驾驶汽车。

Apr, 2024

手写识别是模式识别和机器学习领域中具有挑战性和关键问题，其应用领域广泛。本文专注于离线阿拉伯手写文本识别问题，并引入两种替代架构，即 Transformer Transducer 和标准序列到序列 Transformer，并比较它们在准确性和速度方面的性能表现，结果显示我们的方法在识别离线阿拉伯手写文本方面优于当前最先进的方法。

Jul, 2023

该研究论文解决了自动驾驶车辆和驾驶辅助系统中与交通标志检测相关的挑战，特别关注使用 Transformer 模型来提高检测的速度和准确性。

Nov, 2023

本研究利用 Vision Transformer (ViT) 架构并结合 DINO 框架，对面部反欺诈任务进行了 Fine-tuning，与传统的 CNN 模型 EfficientNet b2 进行了性能比较。研究结果显示，ViT 模型在准确性和对不同欺诈方法的抵抗性方面优于 CNN 模型，进一步推动了生物识别安全领域的重要进展。

Jun, 2024

本文提出了一种适用于 Transformer 的鲁棒性验证算法，证明了其结果远优于 Interval Bound Propagation 算法，帮助理解了情感分析中不同单词的重要性。

Feb, 2020