Oct, 2018

不要忘记，遗忘并不是全部：连续学习的新指标

PDF
TL;DR本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。
发现论文，激发创造
  • 忘却是否是正向迁移的良好归纳偏差？

    研究探讨了持续学习算法中前向传递的表现力，并考察了连续学习算法在图像分类领域的表现。结果发现，保留过去信息的表现力更好，同时这种表现力更加多样和可辨识。

    Mar, 2023

  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023

  • 认知视角下的持续学习基准评估

    连续学习模型的认知能力和评价度量方法不匹配，为了解决这些问题，提出了将模型认知能力和评价度量整合成统一评价范式的方法，通过实验证明目前没有方法能够满足所有要求，对模型性能的影响因素进行了讨论并提供了改进连续学习模型的指导。

    Dec, 2023

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • 当今的连续学习算法有多高效？

    本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。

    Mar, 2023

  • 走向持续学习的工业应用：类增量学习的新度量提案

    本研究通过实验证明了现有的基于任务准确率的持续学习性能度量方法的局限性，并提出了一个公平且更有用的评估指标 Minimal Incremental Class Accuracy（MICA），以及一个综合考虑学习性能变化的单一标量度量方法。

    Apr, 2024

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 连续学习的全面调查：理论，方法与应用

    本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

    Jan, 2023

  • 对象实例的持续学习

    该研究提出使用基于度量学习的连续实例学习方法，解决传统的目标分类任务中遇到的实例辨别问题，并通过规范化度量学习和合成数据传输等方法改进该技术，实验结果表明这些方法可有效减少遗忘现象。

    Apr, 2020