Sep, 2023

用于分析持续学习者的新度量标准

PDF
TL;DR在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。
deep neural networkscontinual learningstability-plasticity dilemmametricsclassification task difficulty
发现论文，激发创造
  • 终身学习中的持续评估：发现稳定性差距

    本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

    May, 2022

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 深度持续学习中的可塑性维护

    本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

    Jun, 2023

  • 评估和改进口语理解中的持续学习

    我们提出了一种评估方法，能够统一评估在连续学习中的稳定性、可塑性和泛化能力，并展示了引入不同的知识蒸馏方法如何改善语音语言理解模型的这三个性质方面。我们进一步展示了我们提出的指标更敏感地捕捉到连续学习中任务顺序的影响，因此更适合实际应用场景。

    Feb, 2024

  • 网络连续学习中稳定性与可塑性困境的新见解

    本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

    Feb, 2023

  • 通过协作学习改进在线持续学习的可塑性

    在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

    Dec, 2023

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 持续学习的三种场景

    本文提出三种不同的持续学习场景，探讨不同的评估方法以及其性能差异；通过研究表明，针对识别任务需要推断类别（即类别增量学习）的场景中，基于正则化的方法失败，需要回放以前经验的表示来解决此问题。

    Apr, 2019

  • 不要忘记，遗忘并不是全部：连续学习的新指标

    本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。

    Oct, 2018

  • 关于自适应方法在连续学习中的收敛性

    该论文介绍了对于连续学习中的收敛性分析，提出了一种适应性方法用于非凸连续学习，该方法调整先前和当前任务的梯度的步长，以达到与 SGD 方法相同的收敛速度，并且在减轻每次迭代的灾难性遗忘项的情况下，改进了连续学习在几个图像分类任务中的性能。

    Apr, 2024