ECCVNov, 2017

存储感知突触：学习何时（不）遗忘

PDF
TL;DR本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。
lifelong learningmemory aware synapsesneuroplasticityobject recognitionembedding learning
发现论文，激发创造
  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 生命周期学习中基于共同表示空间的任务感知信息路由

    本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

    Feb, 2023

  • 不断增长的长期情景与语义记忆

    本文介绍了一种利用快速但不可微的内容可寻址内存编码长序列经验和跨多个领域的语义知识的终身学习系统，从而在不受限制的领域上不断学习并存储知识，打开了探索迁移学习和利用过去学习经验到新领域的机会。

    Oct, 2016

  • 神经发生在克服灾难性遗忘中的作用

    本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

    Nov, 2018

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 通过突触智能进行连续学习

    本研究介绍了智能突触，模拟了生物神经网络的复杂分子机制来解决深度学习中的连续学习问题，实现了高效的分类任务连续学习过程。

    Mar, 2017

  • 元学习神经记忆

    本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络，该模型不仅适用于监督性问题，还能在强化学习等多种学习问题中取得较好的表现。

    Jul, 2019

  • 基于海布学习的正交投影，用于脉冲神经网络的持续学习

    基于侧向连接和赫比学习的神经操作提供对脑回路的新见解，并展示了如何在神经系统中实现正交投影，由此解决了关于神经形态计算的遗忘问题。

    Feb, 2024