Jun, 2022

塑料人工神经网络综述：探索神经结构搜索和不断学习之间的交汇点

PDF
TL;DR这篇论文是第一篇广泛的综述文章，阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域，并提出了各种方法以促进完全自动化和神经网络的终身可塑性。
artificial neural networkscontinual learningautomladaptabilitylifelong plasticity
发现论文，激发创造
  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 高效的连续学习架构搜索

    提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。

    Jun, 2020

  • 重访神经网络的持续学习：架构视角

    本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task IL 方面实现了最新的连续学习性能。

    Apr, 2024

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 融合神经启发的适应性在人工智能中持续学习

    通过建立一个稳定性与可塑性均衡、具有多个学习模块的学习系统，我们提出了一种通用方法，可以适度减弱旧记忆在参数分布中的影响，以提高学习可塑性，并通过协调多学习者架构确保解决方案的兼容性。经过大量的理论和实证验证，我们的方法不仅明显提高了持续学习的性能，尤其是在任务增量设置中超过了突触正则化方法，还可能推进神经适应机制的理解，成为推动人工智能和生物智能共同进步的新范例。

    Aug, 2023

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • 人工神经网络中基于大脑启发的学习策略综述

    本篇论文全面综述了现今人工神经网络中基于仿生学学习机制的表示，研究了加入更多仿生意义机制如突触可塑性以加强网络能力的可能性和挑战，并找到未来的研究方向，以更深入理解智能的本质。

    May, 2023