Jul, 2018

通过谱学习连接加权自动机和循环神经网络

PDF
TL;DR这篇论文研究了加权有限状态自动机和二阶循环神经网络之间的基本联系，提出了一个可靠的算法用于学习在连续输入向量序列上定义的线性二阶循环神经网络。
weighted finite automatasecond-order recurrent neural networksspectral learning algorithmlinear 2-rnnshankel tensor
发现论文，激发创造
  • 有理递归

    本文探讨了神经网络和加权有限状态自动机之间的联系，发现了一些循环神经网络与 WFSAs 的共性，并提供了一种新的灵感来源的神经网络模型，该模型在语言建模和文本分类方面优于两个最近的基线模型。

    Aug, 2018

  • 使用加权自动机解释顺序数据上的黑盒子

    研究了如何从学习黑匣子中提取加权自动机，以评估其全局可解释性，不需要访问数据集或内部表示，充分利用黑匣子的输出结果，实验结果表明此算法在 48 个合成数据集和 2 个实际数据集上的逼近效果出色。

    Oct, 2018

  • 通过状态空间回归从循环神经网络中提取加权自动机

    使用回归方法进行等价查询的加权有限状态自动机（WFA）从循环神经网络（RNN）中提取的新算法实现了最近 Weiss、Goldberg 和 Yahav 的 DFA 提取方法的定量 / 加权扩展。

    Apr, 2019

  • 使用查询和反例学习确定性加权自动机

    该研究介绍了一种从黑盒语言模型中提取概率确定有限自动机（PDFA）的算法，并在应用于循环神经网络（RNN）时，通常比从同一网络中提取加权有限自动机（WFA）的谱提取法实现更好的单词错误率（WER）和标准化分布累计收益（NDCG）。

    Oct, 2019

  • 面向自然语言任务的加权自动机提取和用于解释循环神经网络

    本文提出了一种基于加权有限自动机的自然语言任务的提取和解释框架来解决现有方法在可伸缩性或精度方面的局限性，同时引入了两种数据增强策略来跟踪循环神经网络的动态行为，并通过 Transition Matrix Embeddings 的基于任务的解释方法在预训练和敌对示例生成等应用中表现出更好的效果。

    Jun, 2023

  • 从循环神经网络中提取加权有限状态自动机以处理自然语言

    本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动机，特别适用于自然语言处理模型。

    Jun, 2022

  • 线性变压器及其递归和自指扩展的实际计算能力

    通过研究具有线性化注意力的自回归 Transformer，即线性 Transformer（LT）或快速权重编程器（FWP），我们发现许多应用于标准 Transformer 的知名结果可以直接转移到 LTs / FWPs，并证明了最近提出的 FWP 扩展成功地克服了 LT 的某些限制，如在奇偶性问题上的泛化。

    Oct, 2023

  • 非线性连续加权有限自动机进行顺序密度估计

    本文提出非线性连续加权有限状态机（NCWFAs）和 RNADE-NCWFA 模型来处理连续随机变量序列的概率密度函数估计问题，并且我们的模型优于传统基线方法以及高斯 HMM 模型。

    Jun, 2022

  • 使用循环快速权重编程器超越线性变压器

    通过在快速和慢速神经网络中加入循环来探索新的变化形式，提出一种新颖的循环快速权重编程模型（RFWPs），并在两个合成算法任务，语言模型和 Atari 2600 2D 游戏环境中评估了模型的效果。

    Jun, 2021

  • 通过谱方法训练输入输出循环神经网络

    研究新颖的谱方法，通过得分函数将输出和输入的非线性变换之间的交叉矩张量分解，以解决逐步标记任务的输入 - 输出循环神经网络 (RNN) 的训练问题，并将其扩展到双向 RNN，该方法被应用于许多自然语言处理 (NLP) 任务，如 POS 标记。

    Mar, 2016