May, 2023

使用 Transformer 和自然语言处理进行在线手势识别

PDF
TL;DR本文中，使用 Transformer 模型结构对在线手写手势符号转化为自然语言句子进行了研究，并展示了该模型的编码器解决多级分割、学习某些语言特征和语法规则等方面的优秀表现。此外，使用学习的 Byte-Pair-Encoding（BPE）和大型解码空间为数据输入和语法规则提供了鲁棒性。研究表明该模型具有迁移学习能力，适用于许多其他语言，并可用于泛用性的手写识别任务。最终，基于一个新的手写手势数据集训练小型 Transformer 模型，对于英语、德语句子平均归一化 Levenshtein 准确率达到 96％，对于法语则为 94％。
transformer architectureonline handwritten gesturesend-to-end encoder-decoder modelbyte-pair-encodinghandwriting recognition
发现论文，激发创造
  • 一种用于在线手势识别数学表达式的 Transformer 架构

    该研究使用 Transformer 架构为端到端的在线手写手势建立表达式树提供了强大的框架，并成功利用了注意力机制编码、学习和执行表达式的潜在语法，提供了鲁棒性，并提出了一个新的度量标准用于输出表达式树的语法正确性的评估。

    Nov, 2022

  • 基于 LSTM 的快速多语言在线手写识别

    本文介绍了一种支持 102 种语言的在线手写系统，采用深度神经网络架构和贝塞尔曲线的新输入编码，与之前的系统相比降低了 20%-40% 的错误率，并在 IAM-OnDB 数据集上取得了新的最优结果。通过实验确定了模型的最优配置，并在多个公共数据集上进行了评估。

    Feb, 2019

  • 机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

    本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

    Dec, 2022

  • 基于 Transformer 的阿拉伯离线手写文本识别方法

    手写识别是模式识别和机器学习领域中具有挑战性和关键问题，其应用领域广泛。本文专注于离线阿拉伯手写文本识别问题，并引入两种替代架构，即 Transformer Transducer 和标准序列到序列 Transformer，并比较它们在准确性和速度方面的性能表现，结果显示我们的方法在识别离线阿拉伯手写文本方面优于当前最先进的方法。

    Jul, 2023

  • 探索 Transformer 在在线手写签名验证中的应用

    本文研究了基于最新的 Transformers 架构对在线签名验证的适用性，并评估了四种不同的配置，结果表明 Transformers 对于在线签名验证有很大的潜力。

    Jul, 2023

  • 手语姿态网络：基于姿态的 Transformer 模型增强手语翻译

    我们在野外使用视频来处理美国手语拼写翻译的任务。我们利用更精确的手部姿势估计和提出了一种新的架构，它利用基于 Transformer 的编码 - 解码模型，实现了无缝上下文单词翻译。翻译模型通过一种新的损失项，准确预测指拼单词的长度，从而有益于训练和推理。我们还提出了一种新的两阶段推理方法，在解码器的语言模型能力下重新对假设进行排名。通过广泛的实验证明，我们的方法在 ChicagoFSWild 和 ChicagoFSWild + 上优于现有技术模型，相对性能提高了 10% 以上。我们的发现突出了我们方法的有效性和推进手语翻译中的拼写识别的潜力。代码也可在此 https 网址找到。

    Nov, 2023

  • 自然语言处理的增强 Transformer 架构

    本文提出了一种新型 Transformer 结构，其特点是全层归一化、加权残差连接、利用强化学习的位置编码和零屏蔽自注意力。通过使用 Multi30k 翻译数据集进行双语评估替代，验证了所提出的增强型 Transformer 模型。结果显示，增强型 Transformer 的 BLEU 分数比原始 Transformer 模型高出了 202.96%。

    Oct, 2023

  • 适用于印度语手势输入的联合 Transformer/RNN 架构

    本研究旨在开发一种支持印度语言手势输入的键盘，通过创建包含键盘轨迹的数据集来训练模型，并使用路径解码、音译和音译修正等技术对输入的轨迹进行映射以实现高达 70% 到 95% 的准确率。

    Mar, 2022

  • 使用 Transformer 模型进行流式自动语音识别

    通过使用自我注意力来模拟时间上下文信息，基于编码器 - 解码器的序列到序列模型已经在端到端自动语音识别领域取得了最先进的成果。本研究提出了一种基于 Transformer 的流式 ASR 系统，其可以在每个发音单词之后快速生成输出，因此可以应用于更广泛的 ASR 场景中。我们采用了一种时间限制的自注意力机制来实现流式语音序列的建模，同时通过触发式关注机制来优化编码器 - 解码器的关注机制。在 LibriSpeech 的测试数据上，我们的方案分别达到了 2.8% 和 7.2% 的词错误率，这是我们所知道的这个任务的最好的流式端到端 ASR 成果。

    Jan, 2020

  • BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

    提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

    Sep, 2023