Jul, 2021

教师 - 学生设置下的持续学习：任务相似性的影响

PDF
TL;DR研究在老师 - 学生设置下深度神经网络中的连续学习，通过探究老师之间的相互作用关系，发现任务相似性在中间层与特征层之间存在复杂的相互作用，会对初始遗忘转移率、最大遗忘转移率以及长期遗忘转移率产生影响。这些结果有助于阐明导致灾难性遗忘的多种因素。
continual learningcatastrophic forgettingteacher-student setuptask similaritytransfer/forgetting rates
发现论文，激发创造
  • 解耦和减轻任务相似性对于持续学习的影响

    连续学习中任务相似性对神经网络的影响和如何缓解其困难的研究。

    May, 2024

  • 基于统计力学的教师 - 学生网络连续学习中的灾难性遗忘分析

    本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

    May, 2021

  • 任务相似性和过度参数化对灾难性遗忘的联合影响 -- 一种分析模型

    我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插值阈值附近，遗忘随着期望任务相似性的减小而单调减少。

    Jan, 2024

  • 混合类似和不相似任务的连续学习

    本文提出了一种针对混合相似和不相似任务序列的学习技术，旨在解决忘却问题并实现信息的前向和后向传输，其中针对不相似任务的算法处理忘却问题，针对相似任务，算法着重于选择性地将从某些相似前一任务学习到的知识传递到新任务中，实验结果表明该模型的有效性。

    Dec, 2021

  • 忘却是否是正向迁移的良好归纳偏差？

    研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

    Mar, 2023

  • 生命周期学习中基于共同表示空间的任务感知信息路由

    本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

    Feb, 2023

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 灾难性遗忘的解剖：隐藏的表示和任务语义

    本研究探讨了机器学习系统中存在的灾难性遗忘问题，发现深层网络是导致遗忘的主要因素，并介绍了稳定深层网络的方法。实证分析表明，任务相似度与遗忘程度具有相关性。在标准的 split-CIFAR-10 设置上进行了实验，并引入了一个基于 CIFAR-100 的任务，近似实现了输入分布的转移，得到了一些有益的结论。

    Jul, 2020

  • 持续学习的三种场景

    本文提出三种不同的持续学习场景，探讨不同的评估方法以及其性能差异；通过研究表明，针对识别任务需要推断类别（即类别增量学习）的场景中，基于正则化的方法失败，需要回放以前经验的表示来解决此问题。

    Apr, 2019

  • 知识融合的类增量学习

    通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理 “灾难性遗忘” 问题。

    Sep, 2022