Apr, 2024

重访神经网络的持续学习：架构视角

PDF
TL;DR本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task IL 方面实现了最新的连续学习性能。
发现论文，激发创造
  • 架构对于连续学习很重要

    本研究证明了架构的选择对不断学习的性能有显著影响，不同的架构在记忆以前的任务和学习新任务之间存在不同的权衡。此外，本研究研究了各种架构决策的影响，提出了可以改善不断学习性能的最佳实践和建议。

    Feb, 2022

  • 塑料人工神经网络综述：探索神经结构搜索和不断学习之间的交汇点

    这篇论文是第一篇广泛的综述文章，阐述了人工神经网络、持续学习和自动机器学习之间的交叉领域，并提出了各种方法以促进完全自动化和神经网络的终身可塑性。

    Jun, 2022

  • 高效的连续学习架构搜索

    提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类准确度和更简单的神经网络结构。

    Jun, 2020

  • 异质性持续学习

    本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

    Jun, 2023

  • 宽神经网络的遗忘相对较少

    这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。

    Oct, 2021

  • SpaceNet: 为持续学习腾出自由空间

    在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

    Jul, 2020

  • 利用模块化网络与任务驱动 先验知识实现高效连续学习

    本文提出一种基于模块化架构和任务驱动的先验知识的学习算法，能够有效地处理长时间序列任务，且在常规连续学习基准测试上表现出了竞争优势。

    Dec, 2020

  • CQural: 基于卷积神经网络的混合架构用于量子连续机器学习

    本研究论文中，作者提出使用新型混合经典 - 量子神经网络模型可以避免神经网络在永久学习中的灾难性遗忘问题。同时，模型训练还可以得到更好的性能并学习到最重要的特征。在 MNIST 和 CIFAR-10 数据集上，实验结果表明混合神经网络在记住类特定特征方面优于传统的神经网络。

    May, 2023

  • 神经网络架构的贝叶斯学习

    本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

    Jan, 2019

  • 神经架构搜索综述

    本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

    May, 2019