使用辅助损失学习 RNN 中的长期依赖关系

ICMLMar, 2018

使用辅助损失学习 RNN 中的长期依赖关系

Learning Longer-term Dependencies in RNNs with Auxiliary Losses

Trieu H. Trinh, Andrew M. Dai, Minh-Thang Luong, Quoc V. Le

TL;DR通过增加自监督辅助损失，提高循环神经网络对长期依赖关系的识别能力，可应用于序列长度达 16,000 的图像分类和实际文档分类任务中，具有竞争基线模型无法比拟的良好性能和资源效率。

Abstract

Despite recent advances in training recurrent neural networks (RNNs), capturing long-term dependencies in sequences remains a fundamental challenge. Most approaches use backpropagation through time (BPTT), which

recurrent neural networks long-term dependencies unsupervised auxiliary loss sequence length resource efficiency

发现论文，激发创造

低通递归神经网络 - 一种用于发现更长期的相关性的记忆体系结构

本文提出了一种使用简单且有效的记忆策略来扩展反向传播时间的窗口而不需要更长跟踪的方法，并在一些任务中进行了实证探讨。

May, 2018

稀疏关注回溯：通过提醒实现时间信用分配

为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。

Sep, 2018

长时依赖网络的时间反向传播

本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。

Mar, 2021

半监督序列学习

本文提出两种方法用于使用未标记的数据改善序列学习。第一种方法是预测序列中的下一个元素，第二种方法是使用序列自编码器。通过这两种算法的无监督训练，我们可以训练出更稳定且泛化性能更好的长短时记忆网络，并在诸如 IMDB、DBpedia 和 20 Newsgroups 等文本分类任务中获得强大的性能。

Nov, 2015

循环神经网络在序列学习中的关键评估

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

May, 2015

基于扰动的递归神经网络学习

本研究针对循环神经网络提出了一种基于扰动学习的新方法，通过在时间域内进行节点扰动，实现与反向传播方法相媲美的性能，具有超越梯度方法的优势，证明了扰动学习方法是训练循环神经网络的一种多功能替代方案。

May, 2024

UnICORNN: 用于学习非常长时间依赖关系的循环模型

本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

Mar, 2021

循环正交网络和长记忆任务

本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

Feb, 2016

解释我的惊讶：通过预测不确定结果学习高效的长期记忆

本文提出了一种新的训练方法 MemUP，可以在不需要同时反向传播整个序列梯度的情况下学习长期依赖关系，用于训练 LSTM 网络表现表现良好，并需要存储更少的中间数据。

Jul, 2022

利用稀疏连接和选择性学习的在线实时递归学习

这篇论文介绍了一种基于循环神经网络的状态构建方法，提出了能够让实时递归学习可扩展的两个约束条件，并在基准测试和政策评估中证明了其有效性。

Jan, 2023