ACLJun, 2019

LSTM 网络可实现动态计数

PDF
TL;DR本文系统评估了标准循环神经网络在动态计数和编码分层表示方面的能力，研究结果表明 LSTM 网络可以通过模拟简单的实时 k 计数机学习识别平衡的括号语言和多个括号语言的洗牌，并且单层 LSTM 通过识别 Dyck-1 语言的任务表现良好，但是不能掌握类似于堆栈机制的 Dyck-2 语言任务的性能。
recurrent networkslstmhierarchical representationsdyck-1 languageshuffle languages
发现论文，激发创造
  • 关于线性递归网络在长序列括号计数上的理论条件和实证失败

    研究了线性单细胞网络的理论分析与实证分析，揭示了此类模型保持精确计数行为的必要和充分条件，并发现在标准方法下训练时，线性 RNN 不满足精确计数的条件。

    Apr, 2023

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 评估 LSTM 学习无上下文文法的能力

    使用长短时记忆神经网络模型探索了自然语言中的分层结构，结果显示 LSTM 无法学习到相关的上下文无关规则，但仍是许多自然语言任务的高效工具之一。

    Nov, 2018

  • 探索基于循环神经网络的计数行为的长期泛化能力

    本研究探究了 LSTM、ReLU 和 GRU 模型在长序列计数任务的泛化能力，并发现虽然先前的理论工作已经建立了具有适当配置的 RELU 激活和 LSTM 的计数能力，但是 LSTM 模型在实验中仍无法学习到正确的计数行为，并且从验证损失及不同模型的失效方式等角度对问题进行了讨论。

    Nov, 2022

  • 评估 LSTM 模型在形式语言中的泛化能力

    本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

    Nov, 2018

  • 顺序神经网络作为自动机

    本研究试图从理论的角度解释神经网络的计算类型，通过将它们与自动机相关联，并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量，对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机，并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算，以及神经网络与自然语言语法之间的关系。

    Jun, 2019

  • RNNs 可以生成具有优化内存的有界层次语言

    本文提供了理论洞见，证明在有限精度设置中，递归神经网络可以有效地生成有界分层语言，反映了自然语言句法的脚手架，最优秀的结果使用 O (k^（m/2））存储器（隐藏单元）来生成这些语言，但我们证明了具有 O (m log k) 隐藏单元的 RNN 足以生成这些语言，这是存储器的指数降低；最后，我们表明没有算法，即使有无限的计算，也不能足以在 o (m log k) 隐藏单元中发挥作用。

    Oct, 2020

  • 学习执行

    在进行短程序评估方面，实验评估了 LSTM 在序列到序列范式中的表现和可学习性，并使用课程学习来提高网络性能，结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。

    Oct, 2014

  • 记忆扩展的循环神经网络可以学习广义 Dyck 语言

    本文介绍了三种增强记忆的循环神经网络 (MARNNs)，通过一系列简单的语言建模任务来探索其能力，可以识别具有层级结构的一般性 Dyck 语言，并通过模拟下推自动机来学习带有多达六个圆括号对的 Dyck 语言，此外还包括两个确定性回文语言和字符串反转转导任务。本文还强调了增强记忆模型相对于简单 RNN 的建模能力增强程度，同时，对这些模型的局限性进行了一些思考。

    Nov, 2019

  • 自顶向下的树形长短期记忆网络

    本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型，它基于 LSTM 并专门用于预测树结构，同时通过明确表示左右句法相关性，提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用，都达到了当前最先进技术水平的效果。

    Oct, 2015