Oct, 2019

使用查询和反例学习确定性加权自动机

PDF
TL;DR该研究介绍了一种从黑盒语言模型中提取概率确定有限自动机（PDFA）的算法，并在应用于循环神经网络（RNN）时，通常比从同一网络中提取加权有限自动机（WFA）的谱提取法实现更好的单词错误率（WER）和标准化分布累计收益（NDCG）。
probabilistic deterministic finite automatonlanguage modelingrecurrent neural networksexact-learning algorithmword error rate
发现论文，激发创造
  • 通过状态空间回归从循环神经网络中提取加权自动机

    使用回归方法进行等价查询的加权有限状态自动机（WFA）从循环神经网络（RNN）中提取的新算法实现了最近 Weiss、Goldberg 和 Yahav 的 DFA 提取方法的定量 / 加权扩展。

    Apr, 2019

  • 从循环神经网络中提取加权有限状态自动机以处理自然语言

    本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动机，特别适用于自然语言处理模型。

    Jun, 2022

  • 面向自然语言任务的加权自动机提取和用于解释循环神经网络

    本文提出了一种基于加权有限自动机的自然语言任务的提取和解释框架来解决现有方法在可伸缩性或精度方面的局限性，同时引入了两种数据增强策略来跟踪循环神经网络的动态行为，并通过 Transition Matrix Embeddings 的基于任务的解释方法在预训练和敌对示例生成等应用中表现出更好的效果。

    Jun, 2023

  • 使用查询和反例从递归神经网络中提取自动机

    本文提出了一种新算法，利用精确学习和抽象来提取描述给定训练 RNN 状态动态的确定性有限自动机，使用 Angluin 的 L * 算法作为学习器和训练 RNN 作为 oracle，即使状态向量较大且需要进行精细区分，该技术也可以高效地从训练 RNN 中提取准确的自动机。

    Nov, 2017

  • 基于字符串概率查询的 PDFA 蒸馏

    本研究提出了一种从神经网络中提取 PDFA 的算法，并展示了其在解释性机器学习领域的有效性。

    Jun, 2024

  • 使用加权自动机解释顺序数据上的黑盒子

    研究了如何从学习黑匣子中提取加权自动机，以评估其全局可解释性，不需要访问数据集或内部表示，充分利用黑匣子的输出结果，实验结果表明此算法在 48 个合成数据集和 2 个实际数据集上的逼近效果出色。

    Oct, 2018

  • 通过谱学习连接加权自动机和循环神经网络

    这篇论文研究了加权有限状态自动机和二阶循环神经网络之间的基本联系，提出了一个可靠的算法用于学习在连续输入向量序列上定义的线性二阶循环神经网络。

    Jul, 2018

  • 非线性连续加权有限自动机进行顺序密度估计

    本文提出非线性连续加权有限状态机（NCWFAs）和 RNADE-NCWFA 模型来处理连续随机变量序列的概率密度函数估计问题，并且我们的模型优于传统基线方法以及高斯 HMM 模型。

    Jun, 2022

  • 带权下推自动机算法

    本研究通过改进 Lang 算法，开发了直接处理加权下推自动机的新算法，可以更有效地运用于自然语言处理中，并能够在空间和时间效率上取得优化。

    Oct, 2022

  • 可微分加权有限状态转换器

    该论文提出了一种使用加权有限状态转录器（WFSTs）进行自动微分的框架，使它们可以在训练期间动态使用，该框架可以探索新的结构化损失函数并结合各种序列级损失函数使用剪枝和回退等方法，在字短语的潜在分解学习方面具有很大的优势，同时提出了一种卷积 WFST 层，可用作传统卷积层的替代，用于手写识别和语音识别的实验中表现良好。

    Oct, 2020