朝向在连续学习中无冗余子网络

Dec, 2023

Towards Redundancy-Free Sub-networks in Continual Learning

Cheng Chen, Jingkuan Song, LianLi Gao, Heng Tao Shen

TL;DR为了克服参数隔离方法中存在的限制，我们提出了信息瓶颈掩码子网（IBM）方法，通过消除子网络中的冗余，累积宝贵的信息到关键权重，构建不带冗余的子网络，有效地减轻了灾难性遗忘问题，并通过传输宝贵的知识促进新任务训练。实验证明，IBM 方法一直优于现有的方法，尤其是与参数隔离方法相比，IBM 方法在子网络参数数量上减少了 70％，同时训练时间减少了 80％。

Abstract

catastrophic forgetting (CF) is a prominent issue in continual learning. parameter isolation addresses this challenge by masking a sub-net

catastrophic forgetting parameter isolation information bottleneck masked sub-network continual learning redundancy-free sub-networks

发现论文，激发创造

利用子图信息识别具有预测性的基础结构压缩模型

通过引入信息瓶颈理论的设计，结合相似桥接原理和互信息估计式的互动，提出了一种新型的子图信息瓶颈架构来识别预测压缩的子图，成功去除了图数据中的噪音和冗余，具有高效和稳定性，得到了较好的优化结果和理论边界。

Mar, 2021

混合任务连续学习的子网络发现与软遮罩

本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

Oct, 2023

子图识别的图信息瓶颈

本文提出了图信息瓶颈（GIB）框架，解决了深度图学习中子图识别问题，并在三种应用场景下评估 IB 子图的性能。

Oct, 2020

参数级软掩模用于连续学习

这篇论文提出一个名为 SPG 的新技术，通过对每个参数的重要性进行软阻塞来解决在连续学习中防止灾难性遗忘、促进知识转移和解决能力问题的目标，并取得了显著的效果。

Jun, 2023

第二届大湾区国际算法大赛连续任务学习赛道解决方案

基于参数隔离的无数据增加的连续学习算法解决了忘却问题，同时提出了参数补充、掩码矩阵压缩等策略来增强效果。

Jul, 2024

HyperMask：自适应基于超网络的掩码用于持续学习

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

Sep, 2023

持续学习中参数隔离的保证

深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

Oct, 2023

IF2Net: 面向连续学习的天然无遗忘网络

本研究提出了一种基于 IF2Net 的学习方式，该方式利用权重来存储信息，通过冻结监督每个任务的权重的相对值从而实现不遗忘的连续学习，同时运用随机化和正交化的优点，实现单个网络对无限映射规则的内在学习，并通过理论分析和实证研究验证了其有效性。

Jun, 2023

IB-AdCSCNet: 自适应卷积稀疏编码网络受信息瓶颈驱动

本研究介绍了一种基于信息瓶颈理论的深度学习模型 IB-AdCSCNet，通过在梯度下降中动态调整交换参数 λ，优化压缩激发损失函数，实现压缩和拟合的最佳平衡。该模型不仅提供了一种一致性表现的模型，还融合了稀疏表示理论与深度学习的前沿视角。实验结果表明，IB-AdCSCNet 在处理受损数据时不仅能与深度残差卷积网络相媲美，而且还能表现更佳，并通过 IB 交换的推断显著增强了模型的稳健性。

May, 2024

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023