catastrophic forgetting | BriefGPT

关键词catastrophic forgetting

搜索结果 - 585

稠密提取累积知识用于连续学习
连续学习面临的致命遗忘问题可以通过稠密知识蒸馏方法得到改善，该方法可以在所有任务间蒸馏累积知识，提高模型的稳定性。
PDF4 days ago
克服在线连续学习中的领域漂移
本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。
PDF5 days ago
特征扩展与增强的压缩对于类别增量学习的应用
我们提出了一种新算法，通过使用我们的 Rehearsal-CutMix 方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像，来增强先前类别知识的压缩。在 CIFAR 和 ImageNet 数据集上进行的大量实验证明，我们的方法在不同的
PDF7 days ago
跨领域连续学习的 CLAMP 方法
我们在这篇文章中提出了一种名为 CLAMP 的跨领域持续学习方法，它集成了一种类感知对抗领域自适应策略，以在复杂变化环境中实现单一模型的部署，避免了额外的标注成本，并且在理论分析和大量实验证明中取得了至少 10% 的显著性优于现有基准算法的
PDF8 days ago
增量深度神经网络中灾难性遗忘的方法学研究
通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。
PDF9 days ago
探索基础小说混淆：针对少样学习的冗余探索
少样本类增量学习 (FSCIL) 的研究旨在从有限的样本中获取关于新类的知识，同时保留关于基类的信息。本文通过定量和定性实验，探究了新类与基类的碰撞现象，发现基类特征和像素空间中的冗余是碰撞的主要原因。基于此分析，为了减轻基类与新类之间的碰
PDF12 days ago
HFT: 大型语言模型的半微调
通过定期重置部分参数，半精调可以恢复一些原始知识，并且在大规模语言模型中减轻了遗忘问题，同时在一系列下游基准测试中取得了最佳性能。
PDF21 days ago
IMEX-Reg: 面向连续学习的函数空间中的隐式 - 显式正则化
我们提出了 IMEX-Reg，通过对比表示学习和一致性正则化使用两重隐性 - 显性正则化方法来改善在低缓存场景下连续学习中经验重演的泛化性能，结果表明 IMEX-Reg 在多个连续学习场景中显著提高了泛化性能，并在可信的自然和敌对污染下表现
PDF22 days ago
ICLRHard ASH: 稀疏性和正确的优化器让连续学习者变强
在课堂增量学习中，神经网络通常会遭受灾难性遗忘。我们展示了一种具有稀疏激活函数和自适应学习率优化器的多层感知机，在分割 MNIST 任务中能够与传统的正则化技术竞争。我们强调了自适应 SwisH（ASH）激活函数在此背景下的有效性，并引入了
PDF24 days ago
CVPR参数高效微调无灾难性遗忘的自监督视觉迁移模型
人工神经网络经常面临灾难性遗忘的问题，其中视觉变换器尤其明显，我们通过两种参数高效的微调策略（块扩展和低秩适应）研究了如何解决这一问题，结果显示使用这些策略后的预训练视觉变换器在新领域具有更好的参数效率且能有效减轻灾难性遗忘。
PDF24 days ago
MuseumMaker: 持续自定义样式，避免灾难性遗忘
提出了 MuseumMaker 方法，使用预训练的大型文本到图像（T2I）模型，通过遵循一系列定制风格的方式不断地合成图像，并作为一个博物馆逐渐积累这些创造性的艺术作品。MuseumMaker 能同时捕捉新风格的细微差别，并保持已学习风格的
PDF25 days ago
基于统一回放的连续学习框架在流数据上的时空预测
在无线和移动设备的广泛部署导致了时空数据的大量产生，我们提出了一个统一的回放式持续学习框架，用于实现对流数据的时空预测，避免灾难性遗忘并提高性能。
PDFa month ago
重访神经网络的持续学习：架构视角
本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task
PDFa month ago
脑启发式的持续学习 - 面向类别增量学习的鲁棒特征蒸馏和重新巩固
通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整
PDFa month ago
双重混合：实现从语音中的连续事件检测
这篇论文介绍了关于语音事件检测的两个主要挑战：在不遗忘以前的事件的情况下持续整合新事件，以及语义与声学事件的分离。为了解决这些挑战，作者提出了一种新的任务 —— 从语音中进行持续事件检测，并提供了两个基准数据集。他们提出的 “双重混合” 方
PDFa month ago
BACS: 背景感知持续语义分割
该论文提出了一种名为 BACS 的向后背景位移检测器，用于检测以前观察到的类，并建议一种修改后的交叉熵损失函数，结合 BACS 检测器，降低与以前观察到的类相关联的背景像素的权重，以解决连续语义分割面临的问题。同时，该方法通过掩蔽特征蒸馏和
PDFa month ago
FedMeS: 基于本地内存的个性化联邦连续学习
个性化联合持续学习（PFCL）的问题是一个分布式客户端组，每个客户端都有一系列的本地任务和任意数据分布，通过一个中央服务器合作训练每个客户端的个性化模型，而这个模型需要在所有本地任务中表现良好。我们提出了一个名为联合记忆增强 FedMeS
PDFa month ago
当生活给你 LLMs 时，制作 LLM-ADE：具有自适应数据工程的大型语言模型
LLM-ADE 框架是一个新颖的大型语言模型（LLMs）连续预训练方法，解决了灾难性遗忘和双下降的挑战。在特定数据集上，LLM-ADE 采用了动态架构调整的策略，包括选择性冻结和扩展，以增强模型对新数据的适应性，同时保留先前获得的知识。我们
PDFa month ago
基于知识重播的分割式联邦学习应对灾难性遗忘
提出了一种名为 KoReA-SFL 的新型 Split Federated Learning 方法，通过多模型聚合机制减轻因异构数据引起的梯度发散，并采用知识重放策略解决灾难性遗忘问题。KoReA-SFL 在云服务器中维护多个分支模型部分，
PDFa month ago
基于趋势驱动的弱监督增量语义分割
Weakly Incremental Learning for Semantic Segmentation (WILSS) addresses the issue of conflicting predictions and catastr
PDFa month ago