NIPSSep, 2018

稀疏关注回溯：通过提醒实现时间信用分配

PDF
TL;DR为了学习长期依赖性，本文提出了一种新算法，在过去状态中关联与当前状态相关的记忆，通过注意力机制实现长期跳跃连接，用于逐步向过去传递信用分配，该算法相对于有反向传播实现的算法具有更好的性能。
发现论文，激发创造
  • 长时依赖网络的时间反向传播

    本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。

    Mar, 2021

  • 低通递归神经网络 - 一种用于发现更长期的相关性的记忆体系结构

    本文提出了一种使用简单且有效的记忆策略来扩展反向传播时间的窗口而不需要更长跟踪的方法，并在一些任务中进行了实证探讨。

    May, 2018

  • 高效使用内存的时间反向传播

    我们提出了一种新方法来降低通过时间反向传播算法在培训循环神经网络时的内存消耗，这种方法使用动态规划来平衡中间结果的缓存和重新计算之间的折衷，并最小化计算成本。

    Jun, 2016

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 神经网络中的长时间尺度信用分配与外部存储器

    通过利用自编码器重建观察数据和利用嵌入向量重新计算前向传递来解决传统循环神经网络中存在的反向传递问题。

    Jan, 2017

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 通过活性和参数的稀疏组合实现高效实时递归学习

    本文提出，对于循环网络，高效的实时递归学习可以通过结合活动稀疏性和参数稀疏性得到显着的计算和存储成本节省，无需使用任何近似来学习过程。

    Mar, 2023

  • 消除截断 BPTT 的偏差

    Anticipated Reweighted Truncated Backpropagation (ARTBP) allows for variable truncation lengths and compensation factors to provide unbiasedness, as opposed to Truncated Backpropagation Through Time (truncated BPTT), which suffers from biased gradient estimation and unreliable performance on certain tasks.

    May, 2017

  • 通过传输价值优化长时间尺度下的代理行为

    本文提出一种新的强化学习范式，利用记忆回忆特定事件来赋予过去行动以荣誉，解决了过去人工智能方法无法解决的问题，将为神经科学、心理学和行为经济学等领域提供计算机模型的机制解释。

    Oct, 2018

  • 使用辅助损失学习 RNN 中的长期依赖关系

    通过增加自监督辅助损失，提高循环神经网络对长期依赖关系的识别能力，可应用于序列长度达 16,000 的图像分类和实际文档分类任务中，具有竞争基线模型无法比拟的良好性能和资源效率。

    Mar, 2018