Jun, 2022

从循环神经网络中提取加权有限状态自动机以处理自然语言

PDF
TL;DR本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动机，特别适用于自然语言处理模型。
rnnsfinite automatanatural language processingtransition sparsity problemweighted finite automaton
发现论文，激发创造
  • 面向自然语言任务的加权自动机提取和用于解释循环神经网络

    本文提出了一种基于加权有限自动机的自然语言任务的提取和解释框架来解决现有方法在可伸缩性或精度方面的局限性，同时引入了两种数据增强策略来跟踪循环神经网络的动态行为，并通过 Transition Matrix Embeddings 的基于任务的解释方法在预训练和敌对示例生成等应用中表现出更好的效果。

    Jun, 2023

  • 通过状态空间回归从循环神经网络中提取加权自动机

    使用回归方法进行等价查询的加权有限状态自动机（WFA）从循环神经网络（RNN）中提取的新算法实现了最近 Weiss、Goldberg 和 Yahav 的 DFA 提取方法的定量 / 加权扩展。

    Apr, 2019

  • 使用查询和反例学习确定性加权自动机

    该研究介绍了一种从黑盒语言模型中提取概率确定有限自动机（PDFA）的算法，并在应用于循环神经网络（RNN）时，通常比从同一网络中提取加权有限自动机（WFA）的谱提取法实现更好的单词错误率（WER）和标准化分布累计收益（NDCG）。

    Oct, 2019

  • 使用查询和反例从递归神经网络中提取自动机

    本文提出了一种新算法，利用精确学习和抽象来提取描述给定训练 RNN 状态动态的确定性有限自动机，使用 Angluin 的 L * 算法作为学习器和训练 RNN 作为 oracle，即使状态向量较大且需要进行精细区分，该技术也可以高效地从训练 RNN 中提取准确的自动机。

    Nov, 2017

  • 递归神经网络规则提取的比较研究

    本研究旨在探讨不同复杂度的 Tomita 文法上，从常用的循环神经网络中提取确定有限状态自动机的性能表现。研究结果表明，随着底层文法复杂度的提高，大多数循环神经网络的提取性能逐渐降低。

    Jan, 2018

  • 从 Transformer 中提取有限状态机

    我们提出了一种专门为 Transformer 模型设计的自动机提取算法，通过对 Transformer 模型的内部潜在表示进行转换过程的跟踪并使用经典的教学方法来将其解释为确定有限状态自动机（DFA），揭示了 Transformer 模型如何理解形式语言的结构，从而增强了 Transformer 模型的可解释性并深入了解了机器学习系统如何处理形式语言。

    Jun, 2024

  • 有理递归

    本文探讨了神经网络和加权有限状态自动机之间的联系，发现了一些循环神经网络与 WFSAs 的共性，并提供了一种新的灵感来源的神经网络模型，该模型在语言建模和文本分类方面优于两个最近的基线模型。

    Aug, 2018

  • 通过谱学习连接加权自动机和循环神经网络

    这篇论文研究了加权有限状态自动机和二阶循环神经网络之间的基本联系，提出了一个可靠的算法用于学习在连续输入向量序列上定义的线性二阶循环神经网络。

    Jul, 2018

  • 表达形式语言：有限自动机与循环神经网络的比较

    通过训练循环神经网络（RNN）来学习识别正则形式语言时使用的内部表示，我们研究了一个简单的解码函数，其将该 RNN 的状态映射到该语言的最小确定性有限自动机（MDFA）的状态，进而探讨了 RNN 内部表示与有限状态自动机之间的强结构关系，解释了 RNN 识别正式语法结构的能力。

    Feb, 2019

  • 使用 Transformer 模拟序列和树上的加权自动机

    通过标准的基于梯度的训练，我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力，并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。

    Mar, 2024