Sep, 2020

深度神经网络的全面持续学习视角：被遗忘的教训和通向活跃开放世界学习的桥梁

PDF
TL;DR在本文中，我们从文献出发，对持续学习、主动学习和开放式识别等现有领域进行了综述，并提出了一种融合上述三者的方法来使深度神经网络获得鲁棒性，并通过实验证明，此方法可在避免累积性遗忘、数据筛查、任务选择等方面得到优化。
deep learningcontinual learningactive learningneural networksopen set recognition
发现论文，激发创造
  • BOWLL: 一个看似简单的开放世界终身学习器

    通过广泛的实证评估，我们强调我们的方法为能够有效地保持知识、有选择地关注信息性数据和加速未来学习的模型应成为未来的标准。

    Feb, 2024

  • 应用导向的深度学习方法中的持续学习

    该论文介绍了人工智能中机器学习的相关概念，特别介绍了称为深度神经网络（DNNs）的一种深度学习模型，它具有多个人工神经元和层级结构，但容易受到所谓的 “灾难性遗忘”（CF）效应的影响，它还介绍了对抗 CF 效应的各种技术，以实现持续学习的目标。

    Jul, 2022

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 开放世界机器学习：回顾与新展望

    综合研究开放环境下机器学习的未知拒绝、新类别发现和类别自适应学习等方面，探讨了当前方法的挑战、原则和限制，以及未来研究的潜在方向。旨在全面介绍新兴的开放环境机器学习范式，帮助研究人员在各自领域构建更强大的人工智能系统，并促进人工通用智能的发展。

    Mar, 2024

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 利用深度神经网络和期望模型输出变化进行主动和连续的探索

    我们提出了使用基于深度神经网络的期望模型输出变化的新原则来实现连续主动学习和探索算法，为语义概念的主动获取提供一种解决方法，并且我们的实现方法在实验中优于目前使用的启发式算法。

    Dec, 2016

  • 当今的连续学习算法有多高效？

    本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。

    Mar, 2023

  • 分离记忆编辑与模型更新的解耦继续学习

    机器学习系统的持续学习能力受到灾难性遗忘的限制，本文提出一种新的概念性方法来解决持续分类中的问题，通过区分需要记忆的类别特定信息和总结泛化的类别无关知识，并且通过利用类别无关网络来执行分类，提高随时间推移过去任务的准确性，同时支持开放式分类和一次性泛化模型。

    Dec, 2023

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018