ACLMay, 2020
RNN 架构需要多少复杂度才能学习依赖句法语义?
How much complexity does an RNN architecture need to learn syntax-sensitive dependencies?
Gantavya Bhatt, Hritik Bansal, Rishubh Singh, Sumeet Agarwal
TL;DR本文介绍了一个新的神经网络架构 Decay RNN,它可以通过模拟神经元的抑制和兴奋连接,更好地学习长期依赖关系,相较于 LSTM 在语言任务上也表现十分出色,这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。