Nov, 2022

探索基于循环神经网络的计数行为的长期泛化能力

PDF
TL;DR本研究探究了 LSTM、ReLU 和 GRU 模型在长序列计数任务的泛化能力，并发现虽然先前的理论工作已经建立了具有适当配置的 RELU 激活和 LSTM 的计数能力，但是 LSTM 模型在实验中仍无法学习到正确的计数行为，并且从验证损失及不同模型的失效方式等角度对问题进行了讨论。
发现论文，激发创造
  • 关于线性递归网络在长序列括号计数上的理论条件和实证失败

    研究了线性单细胞网络的理论分析与实证分析，揭示了此类模型保持精确计数行为的必要和充分条件，并发现在标准方法下训练时，线性 RNN 不满足精确计数的条件。

    Apr, 2023

  • 有限精度 RNN 在语言识别中的实际计算能力

    本文研究了有限精度的 RNNs，证明 LSTM 和 Elman-RNN with ReLU activation 比 RNN with a squashing activation 和 GRU 更加强大，可以实现计数行为，并且实验证明了 LSTM 学习了有效地使用计数机制。

    May, 2018

  • 语言模型需具备归纳偏见进行归纳计数

    通过对训练语言模型进行计数，我们发现传统的 RNN 在归纳计数方面的性能远远优于现代 RNN，并且 Transformers 在域外计数方面依赖于位置嵌入，这一发现呼吁学术界重新审视对形式特征的基本函数的应用范围。

    May, 2024

  • LSTM 网络可实现动态计数

    本文系统评估了标准循环神经网络在动态计数和编码分层表示方面的能力，研究结果表明 LSTM 网络可以通过模拟简单的实时 k 计数机学习识别平衡的括号语言和多个括号语言的洗牌，并且单层 LSTM 通过识别 Dyck-1 语言的任务表现良好，但是不能掌握类似于堆栈机制的 Dyck-2 语言任务的性能。

    Jun, 2019

  • 评估 LSTM 模型在形式语言中的泛化能力

    本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

    Nov, 2018

  • 门控循环神经网络在序列建模中的实证研究

    本文比较了不同类型的递归神经网络中的递归单元，特别是实现门机制的更加复杂的递归单元，例如长短时记忆（LSTM）单元和最近提出的门控循环单元（GRU），我们在复调音乐建模和语音信号建模的任务中对这些递归单元进行了评估，实验证明这些先进的递归单元确实比传统的 tanh 单元更好，同时我们发现 GRU 与 LSTM 相当。

    Dec, 2014

  • ReLU 和加法门控递归神经网络

    通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到序列数据的长期依赖关系，并且在 CPU 上减少了一半的执行时间，在加密环境下减少了三分之一的执行时间，实验结果表明该机制与传统的 GRU 和 LSTM 基准模型相比，能够实现可比较的准确性。同时，该机制还能避免加密变量的乘法操作，从而支持具有保护隐私的同态加密人工智能应用，并能在（非加密）明文应用中支持量化操作，潜在地带来显著的性能提升。

    Aug, 2023

  • 离散傅里叶变换分析循环神经网络归纳偏置的实证研究

    本研究旨在揭示循环神经网络的归纳偏差，即输出序列频率，LSTM 和 GRU 的归纳偏差偏向于低频模式，而 Elman RNN 则倾向于学习高频输出模式，同时发现 LSTM 和 GRU 的归纳偏差会随着层数和隐藏层大小的变化而改变。

    May, 2023

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 学习执行

    在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

    Oct, 2014