Sep, 2023

关于点对点非线性前后线性化循环神经网络 (RNNs) 的简要技术说明

PDF
TL;DR這篇簡短且非正式的技術筆記描述了動態矩陣的兩個線性化之間的關係，以及它們的左右特徵向量，並顯示在活動動態的線性化下出現了一些依賴上下文的效應，但在激活動態的線性化下並未出現。
发现论文，激发创造
  • 使用顺序非标准动力学改善循环神经网络的记忆能力

    探讨使用非正常的重复神经网络（RNNs）以解决梯度 “消失 / 爆炸” 的问题并提高 “信噪比”。研究显示，具有非正常的重复连接矩阵的非正常 RNN 可以在序列处理任务中胜过其正交对应物。

    May, 2019

  • 线性 RNN 的隐性偏差

    研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

    Jan, 2021

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 对数线性循环神经网络：朝向具备灵活先验知识的递归神经网络

    LL-RNN 是递归神经网络的扩展，用对数线性输出层替换 softmax 输出层，允许模型利用先验知识进行语言建模，实验证明相对于基线 RNN，能有效降低困惑度。

    Jul, 2016

  • 非标准循环神经网络 (nnRNN)：通过瞬态动力学学习长时依赖关系并提高表达能力

    提出了一种基于 Schur 分解的新型连接结构，该结构不依赖于正交性约束，可以实现单位规范特征谱的参数化，具有更丰富的特征谱约束矩阵，从而提高 RNNs 的表达能力和训练速度。

    May, 2019

  • 利普希茨循环神经网络

    本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

    Jun, 2020

  • 大规模循环网络中神经动力学的普遍性和个体差异

    通过研究数千个基于神经科学的任务训练的网络，我们发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，并且无论架构如何，神经动力学的计算骨架通常表现出普遍性。

    Jul, 2019

  • 可计算的树突状循环神经网络用于重构非线性动力学系统

    本文介绍了一种基于线性样条基函数扩展动态可解释的分段线性循环神经网络（PLRNN）的方法，用于近似任意非线性动态系统。我们采用 BPTT 与教师强制以及快速可接受的变分推理两种框架对系统进行训练，并在各种动态系统基准测试上表明，这种方法具有更好的重建能力和更少的参数和尺寸。

    Jul, 2022

  • 循环神经网络有多混沌？

    通过系统实证分析，本文发现在文本生成等实际应用场景下，基本的 RNN 或 LSTM RNN 的训练过程中不会表现出混沌行为，这一发现说明未来的研究应该将方向放在非线性动力学的另一个方面上。

    Apr, 2020

  • 采用 ReLU 非线性激活函数优化循环神经网络性能

    本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

    Nov, 2015