- CEL:基于弹性权重一致性的领域适应,用于疾病爆发预测的持续学习模型
本研究引入一种使用弹性权重整合的 CEL 模型,通过领域适应性来缓解 LSTM 模型在疾病爆发预测中的灾难性遗忘现象,并在三种不同疾病的评估中优于其他先进模型,表明 CEL 对于增量数据的适应性良好。
- RTRA:持续学习中基于正则化方法的快速训练
在连续学习中,灾难性遗忘是一个重大挑战。我们提出了 RTRA 方法,它是 Elastic Weight Consolidation(EWC)正则化方案的修改版本,使用自然梯度进行损失函数优化。我们通过与 iFood251 数据集比较,证明 - 自监督动态增量正则化适应
本文概述了最近一种名为 DIRA 的动态领域自适应方法,该方法依靠一些样本和弹性权重整合(elastic weight consolidation)这种正则化方法来实现最先进的(SOTA)领域自适应结果。DIRA 已经被先前研究证明能够与 - 主动遗忘的联邦取消学习
基于增量学习、主动遗忘和弹性权重约束的新型联邦遗忘框架,有效解决联邦学习中的遗忘问题。
- 面向外部分布的行人检测的持续学习
本论文提出了一种连续学习的解决方案,以解决行人检测的超出分布问题,并针对性能降低的问题制定了改进的 Elastic Weight Consolidation 方法。通过在一个数据集上进行训练和在另一个数据集上进行微调来达到学习新分布并在先前 - 模型更新过程中的灾难性遗忘
本文论述了如何在更新神经网络模型时减少深度学习模型遗忘前期知识的问题,从而减少新模型的训练成本,并介绍混合少量历史数据的数据彩排和弹性加权差异等方法以提高整体准确度。
- 一种多任务方法的鲁棒深度强化学习用于资源分配
通过将多任务学习应用于机器学习算法中,结合 Elastic Weight Consolidation 和 Gradient Episodic Memory 的方法,并与增强训练数据分布的现有技术进行比较,本研究证明多任务方法对处理医疗领域等 - 面向不断学习新语言
本研究通过将权重分解和弹性权重整合的方法相结合,以抵消灾难性遗忘并快速学习新语言,在 10 种语言的初始训练中实现了从 10 种语言到 26 种语言的学习,同时消除了灾难性遗忘。训练后的性能表现可以与全部语言同时训练相媲美。
- ICMLNERDA-Con: 用于不间断学习的 NER 模型扩展 —— 集成不同任务和更新分布偏移
该研究提出了 NERDA-Con,一种基于 Elastic Weight Consolidation 思想的 NERLLM 精调 fine-tuning pipeline。该方法可以在不重置 Large Language Models 的情 - EMNLP利用弹性权重整合改进计划采样用于神经机器翻译
通过系统实验,本文发现 MaxML 存在的曝光偏差问题是 “抽样计划” 的缺点,该计划加剧了当推理时间的前缀是正确的时的性能下降,即灾难性忘记。因此,提出使用 “弹性权重合并” 方法来更好地平衡减轻曝光偏差与保持性能。在四个翻译数据集上的实 - ACL使用弹性权重一致性进行神经机器翻译的无监督预训练
本文研究了神经机器翻译中的无监督预训练方法,使用 Elastic Weight Consolidation 对双向编码器和解码器进行初始化,通过 fine-tune 来避免原始语言建模任务的遗忘,并将其与以前的正则化工作进行比较,结果表明使 - 多领域语言模型高效预训练的实证研究
通过在多个领域进行预训练和弹性权重整合,可以提高通用和医学任务的性能。
- 基于弹性权重整合的情感分析顺序域自适应
提出了一个基于 Elastic Weight Consolidation 并基于上游任务信息的 Sequential Domain Adaptation 框架,来解决在不同领域上 sentiment analysis 同时训练时 catas - ICLR循环神经网络中的持续学习
本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估,发现了应用权重重要性方法时的特殊性,并提出了一种基于超级网络的正则化方法,有效解决了 RNNs 上的连续学习问题。
- ACL弹性权重巩固以获得更好的偏差接种
使用 EWC 精细调优可以减轻训练数据集中的偏见,同时对于原始训练数据集的遗忘率较低。
- 基于门控增量记忆的连续学习用于序列数据处理
提出基于循环神经网络(RNN)的连续学习模型,利用弹性权重合并法(EWC)处理输入分布的概念漂移,通过在两种不同类型的 RNN 之上实现和测试 EWC,比较了改进后的架构与 EWC 和 RNN 在标准连续学习基准测试中表现的差异,并高亮了需 - 针对连续学习者的敌对后门攻击:有针对性地遗忘和制造虚假记忆
本文探究 EWC 算法对抗恶意攻击的漏洞,发现通过在训练中引入微小的错误信息,恶意攻击者能够逐步地、故意地让模型遗忘数据,从而掌控模型。我们展示了针对 MNIST 数据集不同变种的后门攻击,并证明只需要在不到 1% 的训练数据中注入恶意样本 - Cued@wmt19:ewc&lms
该研究使用弹性权重整合和不同形式的语言建模技术,通过检查点平均和弹性权重整合优化先前 WMT 测试集的强基准线,并在基于改进的 Transformer 架构的文档级别 LM 和句子级别 Transformer LM 上获得进一步的增益。同时 - NIPS医学影像中的持续学习
本文研究使用神经网络对大脑 MRI 进行两个分割任务的不断学习,通过探索弹性权重共享的新方法 去解决因学习新任务而导致的对第一个任务的灾难性遗忘,实验表明该方法在挑战性的不断学习中具有应用前景。
- 旋转您的网络:更好的权重合并和更少的灾难性遗忘
通过重新参数化神经网络中的 Fisher 信息矩阵,结合 Elastic Weight Consolidation 技术,实现解决序列任务学习中的灾难性遗忘问题,并在 MNIST、CIFAR-100、CUB-200 和 Stanford-4