AAAIDec, 2021

通过 LSTM 与 Transformer 学习有界无上下文语法：区别与解释

PDF
TL;DR研究比较了 LSTM 和 Transformer 的潜在空间分解模式，进一步解释了 Transformer 在自然语言处理任务中比 LSTM 有更好的表述能力
long short-term memorytransformersneural architectureslatent space decomposition patternspushdown automaton
发现论文，激发创造
  • 评估 LSTM 学习无上下文文法的能力

    使用长短时记忆神经网络模型探索了自然语言中的分层结构，结果显示 LSTM 无法学习到相关的上下文无关规则，但仍是许多自然语言任务的高效工具之一。

    Nov, 2018

  • Transformer 与 LSTM 在电子交易中的对比

    通过比较多种基于 LSTM 和 Transformer 的模型在高频限价盘数据上的多个金融预测任务中的表现，研究发现 Transformer-based 模型在绝对价格趋势预测方面仅具有有限优势，而基于 LSTM 的模型在价格差异和价格变动等差异序列预测方面表现更好且更稳健。

    Sep, 2023

  • 用 Transformer 网络探测水文预测的极限

    本文研究发现，普通 Transformer 结构在水文建模方面的性能不如 LSTM 结构；去除循环结构的变体可以与 LSTM 相媲美，但是与当前最先进技术相比性能并不突出。

    Jun, 2023

  • Mogrifier LSTM

    本文介绍了长短时记忆网络的互相门机制，以实现更好地建模自然语言处理中上下文之间的交互， 并通过实验在多个数据集上证明了其在语言建模上较传统模型具有更好的泛化能力和性能表现。

    Sep, 2019

  • 论 Transformer 识别形式语言的能力和限制

    本文系统研究了 Transformers 模型在模拟正则语言和反计数语言中的能力，并探讨了其中各组件的作用，发现相比于 LSTMs，在某些行为建模上有一定优势，同时也揭示了自我注意机制和位置编码对模型学习和泛化能力的影响。

    Sep, 2020

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 神经堆栈的无可及转换

    分析了增加堆栈功能的 RNN 模型的行为，研究它们在多个任务中的表现，并发现这些模型可以通过发现直观的基于堆栈的策略来解决这些任务。但是，与 LSTMs 等经典架构相比，堆栈 RNNs 更难训练，并且更复杂的网络通常会将栈用作非结构化内存来找到近似解。

    Sep, 2018

  • 语言模型的物理学：第 1 部分，无上下文语法

    本研究设计实验以探究生成式语言模型如何学习上下文无关文法，并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention，并在处理语法错误时表现出的鲁棒性方面的相关拓展。

    May, 2023

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 因果转换器在递归嵌套结构上表现低于随机，不如人类

    研究发现，当处理嵌套构造中存在长距离嵌入依赖时，尽管 Transformer 语言模型在处理短距离嵌入依赖时表现接近完美，但表现却远低于机会水平，这揭示了 Transformers 在结构化的递归处理中的缺陷。

    Oct, 2021