ICMLFeb, 2018

具备复杂突触的持续强化学习

PDF
TL;DR本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。
发现论文，激发创造
  • 通过突触智能进行连续学习

    本研究介绍了智能突触，模拟了生物神经网络的复杂分子机制来解决深度学习中的连续学习问题，实现了高效的分类任务连续学习过程。

    Mar, 2017

  • 神经发生在克服灾难性遗忘中的作用

    本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

    Nov, 2018

  • 存储感知突触：学习何时（不）遗忘

    本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。

    Nov, 2017

  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 生物可信神经网络的研究：大脑启发机制在持续学习中的作用和交互

    通过生物学上的神经元网络组合中的多种互补机制，可以在人工神经网络中实现连续学习。

    Apr, 2023

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 秩序中的秩序：结构化神经元的循环网络中发育和学习的相互作用

    通过应用局部、始终开启的可塑性规则，我们能够在由两个群体组成的递归网络中学习复杂序列，我们的模型具有资源高效性，仅需少量神经元即可学习复杂序列，我们通过鸟鸣学习的模拟中展示了这些特点，在该模拟中，我们的网络首先学习了一个长的非马尔可夫序列，尽管存在外部干扰，它们能够稳健地复现此序列。

    Feb, 2024

  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018

  • 伪重演：实现深度强化学习而不会发生灾难性遗忘

    提出了一种利用深度生成网络结合图像分类和强化学习领域中的连续学习思想的模型，该模型具有双重记忆系统和伪回放系统，能够在 Atari 2600 游戏中完成顺序学习而不会遗忘前面的任务，并且随着任务数量的增加不需要额外的存储要求，存储原始数据或重新访问过去的任务。

    Dec, 2018

  • 利用上下文相关门控和突触稳定缓解灾难性遗忘

    通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。

    Feb, 2018