Jul, 2020

基于弹性权重整合的情感分析顺序域自适应

PDF
TL;DR提出了一个基于 Elastic Weight Consolidation 并基于上游任务信息的 Sequential Domain Adaptation 框架，来解决在不同领域上 sentiment analysis 同时训练时 catastrophic forgetting 的问题，并在实验中证明了该框架的有效性。
elastic weight consolidationcatastrophic forgettingdomain adaptationsequential domain adaptationsentiment analysis
发现论文，激发创造
  • 弹性权重巩固以获得更好的偏差接种

    使用 EWC 精细调优可以减轻训练数据集中的偏见，同时对于原始训练数据集的遗忘率较低。

    Apr, 2020

  • ECACL: 半监督领域自适应的整体框架

    提出了一种名为增强分类对齐和一致性学习（ECACL）的半监督域自适应（SSDA）框架，其中包括多种相互补充的域对齐技术，并通过类级别对齐、数据增强和模型鲁棒性实现全面域对齐， 以提高具有带标签样本的目标域数据的性能。

    Apr, 2021

  • 使用弹性权重一致性进行神经机器翻译的无监督预训练

    本文研究了神经机器翻译中的无监督预训练方法，使用 Elastic Weight Consolidation 对双向编码器和解码器进行初始化，通过 fine-tune 来避免原始语言建模任务的遗忘，并将其与以前的正则化工作进行比较，结果表明使用这种方法可以快速收敛而且不需要原始未标记的数据。

    Oct, 2020

  • 弹性权重整合中的二次惩罚

    本文介绍了 Elastic weight consolidation (EWC) 算法，该算法是为了保护神经网络免受灾难性遗忘而设计的。该算法可以被视为 Laplace 传播的一种近似，但本文指出 EWC 中的二次惩罚与该推导不一致，可能导致对更早任务的数据重复计数。

    Dec, 2017

  • EVCL: 弹性变分连续学习与权重巩固

    弹性变分持续学习与权重保持的混合模型可以有效地缓解灾难性遗忘，并能更好地捕捉模型参数与任务特定数据之间的依赖关系。在五个可分辨任务上进行评估，该模型在领域增量和任务增量学习场景中持续优于现有基线模型。

    Jun, 2024

  • 领域适配的语义聚焦

    本文提出了一种基于对抗学习的语义集中方法（SCDA）用于解决领域自适应中的样本偏差和数据集标注问题，通过类别之间最大化样本预测分布的差异和最小化同一类别内不相似区域的特征差异来引导网络关注最主要的特征，SCDA 可作为一种常规方法集成到各种领域自适应方法中来进一步提高性能。

    Aug, 2021

  • CEL：基于弹性权重一致性的领域适应，用于疾病爆发预测的持续学习模型

    本研究引入一种使用弹性权重整合的 CEL 模型，通过领域适应性来缓解 LSTM 模型在疾病爆发预测中的灾难性遗忘现象，并在三种不同疾病的评估中优于其他先进模型，表明 CEL 对于增量数据的适应性良好。

    Jan, 2024

  • 自适应权重巩固在连续学习中的应用

    我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

    Jul, 2023

  • CoSDA: 持续无源域自适应

    本文介绍了一种 CoSDA 的思想，它是基于源领域内训练的模型，利用一种新的一致性正则化方法来缓解遗忘，采用双速优化师生模型对目标领域进行了训练，并且在连续适应方面优于现有的方法。

    Apr, 2023

  • NERDA-Con: 用于不间断学习的 NER 模型扩展 —— 集成不同任务和更新分布偏移

    该研究提出了 NERDA-Con，一种基于 Elastic Weight Consolidation 思想的 NERLLM 精调 fine-tuning pipeline。该方法可以在不重置 Large Language Models 的情况下对新数据进行处理，对于信息提取等领域的 Named Entity Recognition 有重要的应用价值。

    Jun, 2022