在线学习长程依赖关系

May, 2023

Online learning of long range dependencies

Nicolas Zucchet, Robert Meier, Simon Schug, Asier Mujika, João Sacramento

TL;DR本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。

Abstract

online learning holds the promise of enabling efficient long-term credit assignment in recurrent neural networks. However, current algorithms fall short of offline backpropagation by either not being scalable or

online learning credit assignment neural networks recurrent modules long-range dependencies

发现论文，激发创造

适用于训练递归神经网络的在线学习算法统一框架

提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。

Jul, 2019

低通递归神经网络 - 一种用于发现更长期的相关性的记忆体系结构

本文提出了一种使用简单且有效的记忆策略来扩展反向传播时间的窗口而不需要更长跟踪的方法，并在一些任务中进行了实证探讨。

May, 2018

反向链接：具有监督的本地训练

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

循环神经语言模型中的在线表示学习

研究连续在线学习在递归神经网络语言模型中的扩展，通过每次预测后自适应地调整当前文本单元的矢量表示，实现提高语言建模精度并减少模型存储所需的计算参数。

Aug, 2015

神经网络中的长时间尺度信用分配与外部存储器

通过利用自编码器重建观察数据和利用嵌入向量重新计算前向传递来解决传统循环神经网络中存在的反向传递问题。

Jan, 2017

循环神经网络中学习更长记忆

本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

Dec, 2014

学习记忆罕见事件

本文提出了一种基于最近邻算法的大规模生命周期记忆模块，该模块具有端到端的训练能力，适用于深度学习中的任何部分，可在一次学习中持续不断训练，且表现出强大的记忆力和一次学习能力，从而在多个领域实现新的性能提升，包括在 Omniglot 数据集上的一次学习状态下表现出的新状态以及在大规模机器翻译任务中，实现了循环神经网络的文件一次学习。

Mar, 2017

大型线性层的高效反向传播优化

该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

Jan, 2022

循环神经网络优化的进展

本文探讨了相关的优化问题，尝试使用梯度削减，跨越更长的时间范围，强化动量技术，使用更强大的输出概率模型，以及鼓励更稀疏的梯度来帮助对称性打破和学分分配等几个方面，以提高长序列的训练的可行性和效率。实验结果在文本和音乐数据的训练和测试误差中表现出了显著的进步。

Dec, 2012

秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

Feb, 2024