- 2024 年第五届 CLVISION 挑战赛冠军解决方案
我们介绍了应对第五届 CLVision 挑战赛的方法，该赛事存在传统类别增量学习之外的独特挑战，包括先前遇到的类别的循环出现以及可能包含未标记数据的分布外类别。我们的方法基于赢得子网络，为每个任务分配独立的参数空间以解决类别增量学习中的灾难 - 提取推荐增强的关键性和解耦知识
通过两个规则，从过去的数据中提取关键和分离的知识，以提高参数化知识库的记忆和泛化能力，促进信息的稳定和广义的知识表达。
- MGSER-SAM：以记忆为导向的软化经验回放与锐度感知优化，用于增强的持续学习
为了解决持续学习模型中的灾难性遗忘问题，我们提出了一种名为 MGSER-SAM 的新型基于记忆回放的算法，该算法专门设计用于增强持续学习模型的泛化能力。通过与经验回放框架 ER 和 DER++ 进行结合，MGSER-SAM 可以有效地处理当 - 图上的持续学习：挑战、解决方案和机遇
连续图学习领域的系统综述，对连续图学习算法的任务设置、模型设计和应用进行分类和比较，分析其与传统连续学习技术的适用性以及存在的挑战和未来方向。
- 动态子图提炼用于稳健的半监督连续学习
我们提出了一种名为动态子图蒸馏（DSGD）的新方法，它利用语义和结构信息，实现对无标签数据的稳定知识蒸馏，对分布偏差具有鲁棒性，并在半监督连续学习场景中减轻了灾难性遗忘问题。
- PUMA：高效的连续图学习与图压缩
通过引入 PUMA CGL 框架，本文解决了 CaT 框架在处理流图时存在的遗忘问题和效率限制，并在四个数据集上展示了该方法在图表示学习中的卓越性能和高效性。
- 对比连续多视角聚类与过滤结构融合
利用对比学习和过滤结构融合的方法解决多视角聚类中的遗忘问题，并与半监督学习和知识蒸馏进行理论连接。
- 基于聚类的领域增量学习
通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。
- CaT：带有图压缩的平衡渐进式图学习
连续图学习（CGL）旨在用以流式传入的图数据不断更新图模型。本论文提出了一种名为 “Condense and Train (CaT)” 的框架来解决 CGL 中存在的数据不平衡和历史分布近似问题，通过对新来的图进行精简并将其存入 “Cond - 通过参数隔离在动态图上进行持续学习
本文提出一种参数隔离的图神经网络（PI-GNN）方法，通过扩展模型参数并冻结不受动态图影响的参数以保留之前学习的知识，解决动态图学习中的灾难性遗忘问题，实验证明其优于现有方法。
- KDD可扩展的敌对在线持续学习
本文提出了一种可扩展的对抗式连续学习（SCALE）方法，使用参数生成器将共同特征转换为任务特定特征和单个判别器在对抗游戏中诱导共同特征。该方法通过类元学习的方式进行训练，使用三个损失函数的新组合。SCALE 方法在准确性和执行时间方面优于突 - 使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀
本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。
- 深入探究无复习持续学习
通过知识蒸馏和参数正则化的组合，并探索加入预训练模型的方法，实现了单一，逐步扩展任务的无需回忆连续学习，避免遗忘以前学过的类别并不断优化性能。
- 基于知识重构的终身生成学习
本研究利用变分自编码器（vae）设计了一种高效有效的终身生成模型，通过扩展 vae 的内在重构特性到历史知识保留，开发了一种反馈策略来减轻错误积累，实验结果验证了该方法在终身生成任务中的有效性。
- 自适应深度聚类无监督迭代学习方法
本文提出了一个名为 KIERA 的无监督连续学习方法，采用灵活的深度聚类方法来处理不断变化的环境，并提出基于质心的经验回放方法来克服灾难性遗忘的问题。实验结果表明，与现有方法相比，KIERA 具有高度的竞争性能。
- GraphSAIL: 用于推荐系统的图结构感知增量学习
本文提出了一种基于图神经网络的推荐模型增量学习框架 GraphSAIL，可以显著减少计算时间并提供更频繁的推荐更新，同时保留用户 / 物品的长期偏好，并通过在训练期间显式地保留每个节点的局部和全局结构以及自我信息来实施图结构保护策略。在两个 - 高效的连续学习架构搜索
提出了一种名为 CLEAS 的新方法，通过与神经结构搜索（NAS）紧密协作，旨在解决神经网络连续学习所面临的挑战：克服灾难性遗忘问题，适应新任务，同时控制其模型复杂度，并通过在神经元层次上设计 NAS 控制器来加强知识转移，以实现更高的分类 - 少样本自我提醒克服灾难性遗忘
介绍了防止深度神经网络在连续学习中出现灾难性遗忘的方法 Few-shot Self Reminder（FSR），利用对旧任务的选定样本进行 logit 匹配，只需重新训练少量数据，就能在知识保留方面超过以往的方法，证明该方法在两个不同的连续 - 作为正则化器的表示稳定性，用于改进文本分析的迁移学习
使用基于蒸馏思想的多任务目标和相应机制解决神经网络在序列迁移学习任务中的灾难性遗忘问题，并在 Twitter 情感分析任务上进行了演示，表明该技术优于 fine-tuning，并且能够不遗忘有用的先前知识。
- 深度神经网络的少遗忘学习
研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。