Nov, 2022

一种用于在线手势识别数学表达式的 Transformer 架构

PDF
TL;DR该研究使用 Transformer 架构为端到端的在线手写手势建立表达式树提供了强大的框架，并成功利用了注意力机制编码、学习和执行表达式的潜在语法，提供了鲁棒性，并提出了一个新的度量标准用于输出表达式树的语法正确性的评估。
transformer architectureonline handwritten gesturesexpression treesattention mechanismhandwriting recognition
发现论文，激发创造
  • 使用 Transformer 和自然语言处理进行在线手势识别

    本文中，使用 Transformer 模型结构对在线手写手势符号转化为自然语言句子进行了研究，并展示了该模型的编码器解决多级分割、学习某些语言特征和语法规则等方面的优秀表现。此外，使用学习的 Byte-Pair-Encoding（BPE）和大型解码空间为数据输入和语法规则提供了鲁棒性。研究表明该模型具有迁移学习能力，适用于许多其他语言，并可用于泛用性的手写识别任务。最终，基于一个新的手写手势数据集训练小型 Transformer 模型，对于英语、德语句子平均归一化 Levenshtein 准确率达到 96％，对于法语则为 94％。

    May, 2023

  • 使用 Transformer 关注数学语言

    使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

    Dec, 2018

  • 手写数学表达式识别的语法感知网络

    本文提出了一种基于编码器 - 解码器网络的数学公式识别方法，在网络中加入语法规则，将标记序列预测建模为树遍历过程，从而有效描述表达式的语法上下文，减轻了数学公式识别中的结构预测误差。实验结果表明，我们的方法在三个基准数据集上均取得了比现有方法更好的识别性能。同时，我们还创建了一个包含 10 万个手写数学表达式图像的大规模数据集，其源代码、新数据集和预训练模型也将公开。

    Mar, 2022

  • 双向训练 Transformer 的手写数学表达式识别

    使用 transformer-based decoder 替换 RNN-based models，提出一种新的训练策略并采用数据增广方法，实验结果表明此模型提高了 CROHME 2014 数据集的 ExpRate 达到 2.23%，CROHME 2016 与 CROHME 2019 也分别提高了 1.92% 和 2.28%。

    May, 2021

  • 手写数学表达式识别的多尺度注意力与密集编码器

    使用基于注意力机制的编码器 - 解码器模型和多尺度注意力模型，结合密集连接卷积网络来处理手写数学表达式识别并在 CROHME 竞赛任务中取得了显著结果，只使用了官方训练数据集。

    Jan, 2018

  • 机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

    本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

    Dec, 2022

  • 适用于印度语手势输入的联合 Transformer/RNN 架构

    本研究旨在开发一种支持印度语言手势输入的键盘，通过创建包含键盘轨迹的数据集来训练模型，并使用路径解码、音译和音译修正等技术对输入的轨迹进行映射以实现高达 70% 到 95% 的准确率。

    Mar, 2022

  • 探索 Transformer 在在线手写签名验证中的应用

    本文研究了基于最新的 Transformers 架构对在线签名验证的适用性，并评估了四种不同的配置，结果表明 Transformers 对于在线签名验证有很大的潜力。

    Jul, 2023

  • 一种贝叶斯模型用于识别手写数学表达式

    该研究提出了一种基于贝叶斯网络的符号识别方法，将识别结果组织成一个解析森林，通过提取概率最高的解析树，实现对手写数学公式的准确识别。两次评估结果表明，该方法比以前的版本和其他学术中使用的数学公式识别器更加准确。

    Sep, 2014

  • 手写数学表达式识别的智能检测网络

    我们提出的智能检测网络在手写数学公式识别中利用物体检测技术，与传统编码器 - 解码器方法不同，能够精确检测符号和数字，优于其他网络在识别复杂手写数学表达式方面，对 HMER 领域具有潜在的宝贵贡献。

    Nov, 2023