Oct, 2023

循环网络识别具有低维振荡的模式

PDF
TL;DR通过对一个受 SET 卡牌游戏启发的简单任务上训练的循环神经网络（RNN）进行解读，本研究提出了一种新颖的动力学机制用于模式识别。我们将训练后的 RNN 解释为通过低维极限环中的相位转移以类似于有限状态自动机（FSA）中的状态转换来识别模式。我们通过手工创建一个简单的振荡模型来验证这一解释，该模型能够复现训练后的 RNN 的动力学。我们的发现不仅暗示了一种潜在的能够进行模式识别的动力学机制，还暗示了一种潜在的 FSA 的神经实现。最重要的是，这项工作为深度学习模型解释性的讨论做出了贡献。
dynamical mechanismpattern recognitionrecurrent neural networkfinite state automatondeep learning model interpretability
发现论文，激发创造
  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • 从神经数据推断随机低秩循环神经网络

    我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

    Jun, 2024

  • 使用门控循环神经网络从可解释结构中学习

    本文研究从深度学习模型中学习可解释结构的方法，针对门控循环神经网络内部机制不明确的问题，发现有限状态自动机具有更可解释的内部机制并提出了基于不同聚类方法的两种学习有限状态自动机的方法，在人类生命和危险领域的应用中，有限状态自动机在一定程度上可替代循环神经网络。

    Oct, 2018

  • 利用生成循环神经网络识别非线性动力系统及其在 fMRI 中的应用

    本研究提出了一种基于状态空间模型的计算动力学分析方法，结合 PLRNN 和 fMRI 等神经成像数据，可以深入分析神经系统的非线性动力学特征，并为神经系统的临床评估和神经科学研究提供新的方法。

    Feb, 2019

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 表达形式语言：有限自动机与循环神经网络的比较

    通过训练循环神经网络（RNN）来学习识别正则形式语言时使用的内部表示，我们研究了一个简单的解码函数，其将该 RNN 的状态映射到该语言的最小确定性有限自动机（MDFA）的状态，进而探讨了 RNN 内部表示与有限状态自动机之间的强结构关系，解释了 RNN 识别正式语法结构的能力。

    Feb, 2019

  • 使用堆栈增强循环网络推断算法模式

    本文讨论了标准深度学习方法的局限性，并展示了如何通过以结构化方式增加模型的复杂性来克服这些限制，具体地，研究了仅适用于具有计数和记忆序列能力模型的算法生成序列的最简单序列预测问题，证明了可以使用与可训练内存相关的循环网络从序列数据中学习一些基本算法。

    Mar, 2015

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 状态规则化递归神经网络

    通过使用一种被称为状态规范化的机制来处理以前递归神经网络（RNNs）的不足，从而提高 RNNs 的状态转移动态分析和解释性，并将其应用于自动机抽取，自然语言处理和计算机视觉中。

    Jan, 2019

  • 重新理解循环策略网络的有限状态表达

    该研究提出了一种通过分析未经最小化的有限状态机以及应用更可解释的规约方式比通过将递归策略网络转换为有限状态机之后进行分析更好地理解受控策略并达到更加深刻认识的方法，另外还提供了一种注意力工具，用于刻画观察对决策的影响，并在 7 个 Atari 游戏和 3 个控制基准测试中进行了验证。

    Jun, 2020