Mar, 2022

连续学习：特征提取形式化、有效算法和基本障碍

PDF
TL;DR本文探讨了机器学习中的持续学习范式，并提出了一种基于特征提取的持续学习框架，通过特征和分类器在每个环境中的联合训练，设计了一种高效的梯度算法 DPGD，并证明了该算法能够在当前环境下表现良好，同时避免灾难性遗忘，但在特征是非线性的情况下，并不存在这样一种算法。
continual learningmachine learningdatadistributionsfeature extraction
发现论文，激发创造
  • 利用生成模型进行持续分类学习

    本文介绍了一种连续学习的分类模型，可以防止神经网络在逐个学习任务时出现 catastrophic forgetting。作者通过扩展已有技术，并提出了一种新的变分下界方法，使得神经网络在连续学习中可以同时保持之前学到的知识。

    Oct, 2018

  • 持续特征选择：在持续学习中排除虚假特征

    本研究探讨了虚假特征对于连续学习算法的影响，发现连续学习算法通过选择无法概括的特征来解决任务。实验表明，连续学习算法面临两个相关问题：（1）虚假特征和（2）局部虚假特征。本文提供了一种不同的理解连续学习性能下降的方式，强调了（局部）虚假特征在算法性能中的影响。

    Mar, 2022

  • 持续学习：应用与未来发展

    连续学习是机器学习的一个子领域，本文调查了连续学习研究中的内存受限设置、未解决的问题以及未来的研究方向。

    Nov, 2023

  • 连续学习复杂场景的简单管理

    本文介绍了连续学习是一种机器学习子领域，旨在处理非 iid 数据。数据分布随时间漂移可能会干扰训练模型和忘记先前学习的知识。这篇论文提出了一个简单高效的框架 Continuum，它包含多个数据加载器以及多种场景和评估指标，可用于直接关注模型设计，也可针对特定需求进行扩展。

    Feb, 2021

  • 基于固定预训练特征提取器的贝叶斯模型的持续学习

    通过在固定特征提取器上建立贝叶斯生成模型，该研究提出了一种解决深度学习中灾难性遗忘问题的方法，并在多个医学和自然图像分类任务上表现出优异的表现。

    Apr, 2022

  • 推动神经信息检索中的持续终身学习：定义、数据集、框架和实证评估

    连续学习模型的任务制定和学习策略在神经信息检索中的有效性及应对主题变化和数据增强的影响进行了概括和评估。

    Aug, 2023

  • 生成式持续概念学习

    该研究提出了一个利用少量标记示例来扩展以前学习概念的计算模型，该模型基于 Parallel Distributed Processing 和 Complementary Learning Systems 理论，使用嵌入空间将新概念与以前学习的概念联系起来，并通过生成分布来解决灾难性遗忘问题。

    Jun, 2019

  • 自然分布偏移下的在线持续学习：基于视觉数据的实证研究

    该研究论文提出一种新的基于连续数据流的在线不断学习方法，并建立了一个大规模的在线视觉学习基准测试，研究了梯度下降优化在不断学习中的关键未被观察到的现象，并提出有效的策略来改进深度学习模型的性能。

    Aug, 2021

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 机器人的持续学习：定义、框架、学习策略、机遇和挑战

    这篇论文介绍了连续学习的概念和机器学习中面临的挑战，提出了在自主体或机器人中使用连续学习以适应环境和优化学习过程的方法，并介绍了现有的基准和度量标准，并提出了一种框架来评估这些方法的有效性。

    Jun, 2019