EMNLPOct, 2022

通过对抗类别增强学习连续关系抽取的强大表示

PDF
TL;DR通过实证研究，本文指出 Catastrophic Forgetting 问题的其中一个原因是在模型学习新关系时，旧关系的学习表示不够具有健壮性，而提出了一种称为 Adversarial Class Augmentation 的方法，它可以更精确和强健地学习表示，从而改善了 Continual Relation Extraction 模型的表现。
continual relation extractioncatastrophic forgettinglearned representationsanalogous relationsadversarial class augmentation
发现论文，激发创造
  • 连续关系抽取的一致表示学习

    研究了连续关系抽取中存在的历史信息遗忘问题，提出了一种基于对比学习和知识蒸馏的持续关系表示学习方法，能够有效地避免历史信息遗忘，并在 FewRel 和 TACRED 数据集上进行了大量实验，相比于现有基线算法，提出的方法表现更具鲁棒性。

    Mar, 2022

  • DP-CRE: 通过解耦对比学习和记忆结构保持进行连续关系抽取

    DecouPled CRE (DP-CRE) framework effectively handles the challenge of catastrophic forgetting in Continuous Relation Extraction (CRE) by decoupling the preservation of prior information and acquisition of new knowledge, outperforming other CRE baselines in extensive experiments.

    Mar, 2024

  • 通过分类器分解增强连续关系抽取

    许多先前的 CRE 研究仅采用传统策略，但是本文提出，此策略在训练后会出现分类器偏差和表示偏差，导致模型遗忘已学习的知识，因此我们提出了一个简单而有效的分类器分解框架，实验结果表明我们的方法性能优于现有的方法。

    May, 2023

  • 用噪声引导攻击增强对比学习：迈向野外连续关系提取

    本文提出了一种更实用的关系抽取学习场景，被称为 “noisy-CRE”。针对实际数据集中的噪声标签，提出了一种基于特征空间扰动的噪声抵抗对比学习框架 NaCL，可以学习到增量性的异常关系，同时在噪声率逐渐增加的情况下实现了持续的性能改进，优于现有的基准模型。

    May, 2023

  • 基于理性增强的语言模型的连续关系学习能力更佳

    通过结合大型语言模型生成的关系分类结果解释策略，设计了多任务的合理调整策略和对比性合理重现方法来增强模型对当前和类似关系的学习能力，并在两个标准基准测试中证明了我们的方法优于现有的连续关系提取模型。

    Oct, 2023

  • 通过区分类似语义来提高持续关系提取

    该研究旨在学习新出现的关系，同时避免忘记学过的关系，提出了一种用于相似关系的新颖连续抽取模型，包括设计记忆无关的关系原型和记忆增强等方法，以克服过拟合问题，并引入集成训练和关键知识蒸馏来增强对相似关系的处理，实验结果表明该模型的优越性及对相似关系的区分能力。

    May, 2023

  • 简而言之：用一种令人沮丧却行之有效的方法重新思考最新连续关系抽取模型

    提出了一个名为 FEA 的连续关系抽取方法，其中包含两个学习阶段：快速适应和平衡微调。该方法适用于处理类增量数据流，并在 TACRED 或 FewRel 上实现了与最先进的基线相当或更高的性能。通过对数据不平衡的仔细检查，我们发现 FA 阶段可以放大内存数据的潜力，而 BT 阶段有助于建立更平衡的决策边界。此方法提供了可操作的见解和建议，为未来的 CRE 模型设计提供启示。

    Sep, 2022

  • 通过嵌入空间正则化和数据增广进行连续少样本关系学习

    本文提出了一种基于嵌入空间规范化和数据增强的新模型，用于以少量标记数据学习新的关系模式，并避免对以前任务的重大遗忘，实验表明此方法在连续少样本关系学习任务中显著优于现有技术。

    Mar, 2022

  • 朝向对抗鲁棒的持续学习

    该研究针对深度学习在不断学习模型中容易受到对抗攻击的问题提出了 Task-Aware Boundary Augmentation (TABA) 的防御方法，并在 CIFAR-10 和 CIFAR-100 上进行了广泛的实验，证明了对抗训练和 TABA 在抵御对抗攻击方面的有效性。

    Mar, 2023

  • 对抗性持续学习

    本研究旨在使用混合方法来解决连续学习中遗忘的问题，该方法结合了体系结构生长来防止任务特定技能的遗忘，并采用经验回放方法来保存共享技能。研究结果表明，我们的混合方法在单个数据集和多个数据集的类增量学习中都表现优异。

    Mar, 2020