ICLRFeb, 2023

生命周期学习中基于共同表示空间的任务感知信息路由

PDF
TL;DR本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。
发现论文，激发创造
  • 主动式长期记忆网络

    介绍了 Active Long Term Memory Networks (A-LTM) 模型，该模型能够在序贯多任务深度学习过程中保留以前学习的知识，同时获得新的知识，利用 distillation loss 来主动维护以前学习的信息，并赋予隐藏层向新的多任务目标优化的自由，结果表明 A-LTM 策略可以维持高精度的视角识别，适应复杂的知识领域。

    Jun, 2016

  • 跨模态检索中的持续学习

    本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。

    Apr, 2021

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • Thalamus: 一种脑启发的算法，用于生物合理的持续学习和分离表示

    在公开环境中，灵活学习和记忆是一个不断变化的挑战，受大脑丘脑皮质回路的启发，本文提出了一种使用推理时优化的简单算法，通过动态生成当前任务的内部表示，并使代理程序将时间经验流解析为离散事件并组织学习。该算法通过潜在更新将知识组织为具有灵活性的结构，并具有控制它们的认知接口。

    May, 2022

  • 前瞻性选择性可塑性实现视觉任务的持续学习

    通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

    Nov, 2023

  • TriRE: 持续知识保留和推进的多机制学习范式

    借鉴大脑同时利用多种机制的方式，我们提出了 TriRE，一种新的持续学习范式，它包括保留每个任务最突出的神经元，修订和巩固当前和过去任务的提取知识，以及通过回溯和重新学习促进次要活跃神经元用于后续任务。在持续学习设置中，TriRE 显著减少了任务干扰，并超过了考虑独立评估的不同持续学习方法。

    Oct, 2023

  • 存储感知突触：学习何时（不）遗忘

    本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。

    Nov, 2017

  • 不断学习的表示中的知识积累与特征遗忘问题

    本文研究神经网络在不断学习时如何学习和忘记其代表特征并引入了任务排除比较等新的分析技术。研究发现大部分特定任务的特征很快被遗忘，但回放和代表特征学习等方法可影响代表特征及其品质与学习绩效的紧密相关性。

    Apr, 2023

  • 深思熟虑：带有内部工作记忆的决策 Transformer

    本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

    May, 2023