Jul, 2022

应用导向的深度学习方法中的持续学习

PDF
TL;DR该论文介绍了人工智能中机器学习的相关概念，特别介绍了称为深度神经网络（DNNs）的一种深度学习模型，它具有多个人工神经元和层级结构，但容易受到所谓的 “灾难性遗忘”（CF）效应的影响，它还介绍了对抗 CF 效应的各种技术，以实现持续学习的目标。
artificial intelligencemachine learningdeep neural networkscatastrophic forgettingcontinual learning
发现论文，激发创造
  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 当今的连续学习算法有多高效？

    本文研究了增量类学习的最新方法，并指出很多算法在计算、存储和内存方面效率极低，有些甚至比从头开始训练的方法更费时，作者认为在实际应用中，不能忽视这些算法的资源消耗，持续学习不仅仅只是为了减轻灾难性遗忘。

    Mar, 2023

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 深度学习与最新应用的调查

    综述了深度学习在计算机视觉、自然语言处理、时间序列分析和普适计算领域的最新模型以及其在解决各个领域问题中的有效性，并介绍了深度学习的基础知识、各种模型类型以及重要的卷积神经网络架构，并讨论了深度学习研究的挑战和未来方向。

    Mar, 2024

  • 连续学习的全面调查：理论，方法与应用

    本研究全面综述了不断学习的基本设置，理论基础，代表性方法和实际应用，总结了不断学习的目标，并通过当前趋势，跨方向前景和跨学科与神经科学的联系开展了深入讨论。

    Jan, 2023

  • 神经元发生的深度学习

    本文通过加入新神经元到深度神经网络的层中，探索了连续学习的潜力，并通过 MNIST 手写数字数据集和 NIST SD 19 数据集证明了神经发生有助于解决适应性机器学习算法中的稳定性和可塑性两难问题。

    Dec, 2016

  • 持续学习：应用与未来发展

    连续学习是机器学习的一个子领域，本文调查了连续学习研究中的内存受限设置、未解决的问题以及未来的研究方向。

    Nov, 2023

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019