评估 LSTM 学习无上下文文法的能力
本研究使用长短期记忆神经网络(LSTM)来探讨其在语言处理中捕捉句法结构的能力,结果表明,在受到显式语法目标的监督时,LSTM 可以捕捉相当数量的语法结构,但是需要更强的架构来进一步减少错误,且语言建模信号不足以捕捉句法敏感的依赖关系,需要更直接的监督。
Nov, 2016
研究比较了 LSTM 和 Transformer 的潜在空间分解模式,进一步解释了 Transformer 在自然语言处理任务中比 LSTM 有更好的表述能力
Dec, 2021
在进行短程序评估方面,实验评估了 LSTM 在序列到序列范式中的表现和可学习性,并使用课程学习来提高网络性能,结果表明 LSTM 可以以 99% 的准确率训练生成能够计算两个 9 位数字加法的模型。
Oct, 2014
研究如何通过自然语言数据训练 LSTM 模型,并发现这种数据能够帮助 LSTM 模型更好地记忆并回忆输入的令牌,同时 LSTM 也会通过某些神经元来计算输入的时间步数。
May, 2018
本研究旨在探究神经语言模型是否能够在单线性序列输入的情况下提取层次信息,并通过中心嵌套句子和语法岛约束等自然语言现象的实验研究证明:LSTM 能够识别和利用堆栈数据结构来存储和获取一定数量的语言层次结构。
Jun, 2019
本文提出了一种新方法,通过追踪给定输出对 LSTM 的给定输入的重要性来识别一致重要的单词模式,从而将其简化为一组代表性短语,并基于这些短语构造了一个简单的基于规则的分类器,从而近似于 LSTM 在情感分析和问题回答上的输出。
Feb, 2017
本文提出 C-LSTM 模型,结合了 CNN 和 RNN 的优点,用于句子表示和文本分类,实验结果表明 C-LSTM 比 CNN 和 LSTM 表现更好,可在这些任务中取得出色的性能。
Nov, 2015