Mar, 2024

使用 Transformer 模拟序列和树上的加权自动机

PDF
TL;DR通过标准的基于梯度的训练，我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力，并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。
transformersreasoning abilitiesfinite state machinesweighted finite automatagradient-based training
发现论文，激发创造
  • 面向自然语言任务的加权自动机提取和用于解释循环神经网络

    本文提出了一种基于加权有限自动机的自然语言任务的提取和解释框架来解决现有方法在可伸缩性或精度方面的局限性，同时引入了两种数据增强策略来跟踪循环神经网络的动态行为，并通过 Transition Matrix Embeddings 的基于任务的解释方法在预训练和敌对示例生成等应用中表现出更好的效果。

    Jun, 2023

  • 可微分加权有限状态转换器

    该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

    Oct, 2020

  • 从循环神经网络中提取加权有限状态自动机以处理自然语言

    本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动机，特别适用于自然语言处理模型。

    Jun, 2022

  • 线性变压器及其递归和自指扩展的实际计算能力

    通过研究具有线性化注意力的自回归 Transformer，即线性 Transformer（LT）或快速权重编程器（FWP），我们发现许多应用于标准 Transformer 的知名结果可以直接转移到 LTs / FWPs，并证明了最近提出的 FWP 扩展成功地克服了 LT 的某些限制，如在奇偶性问题上的泛化。

    Oct, 2023

  • 通过状态空间回归从循环神经网络中提取加权自动机

    使用回归方法进行等价查询的加权有限状态自动机（WFA）从循环神经网络（RNN）中提取的新算法实现了最近 Weiss、Goldberg 和 Yahav 的 DFA 提取方法的定量 / 加权扩展。

    Apr, 2019

  • 从 Transformer 中提取有限状态机

    我们提出了一种专门为 Transformer 模型设计的自动机提取算法，通过对 Transformer 模型的内部潜在表示进行转换过程的跟踪并使用经典的教学方法来将其解释为确定有限状态自动机（DFA），揭示了 Transformer 模型如何理解形式语言的结构，从而增强了 Transformer 模型的可解释性并深入了解了机器学习系统如何处理形式语言。

    Jun, 2024

  • 通过谱学习连接加权自动机和循环神经网络

    这篇论文研究了加权有限状态自动机和二阶循环神经网络之间的基本联系，提出了一个可靠的算法用于学习在连续输入向量序列上定义的线性二阶循环神经网络。

    Jul, 2018

  • 使用查询和反例学习确定性加权自动机

    该研究介绍了一种从黑盒语言模型中提取概率确定有限自动机（PDFA）的算法，并在应用于循环神经网络（RNN）时，通常比从同一网络中提取加权有限自动机（WFA）的谱提取法实现更好的单词错误率（WER）和标准化分布累计收益（NDCG）。

    Oct, 2019

  • 有理递归

    本文探讨了神经网络和加权有限状态自动机之间的联系，发现了一些循环神经网络与 WFSAs 的共性，并提供了一种新的灵感来源的神经网络模型，该模型在语言建模和文本分类方面优于两个最近的基线模型。

    Aug, 2018

  • 在 GPU 上使用有限状态转导进行解码

    通过 GPU 实现 Viterbi 算法和前向 - 后向算法对加权有限状态自动机进行加速，取得了至多 5.2 倍于串行实现输出速度，并对 OpenFST 实现达到 6093 倍的加速效果。

    Jan, 2017