EMNLPOct, 2023

基于理性增强的语言模型的连续关系学习能力更佳

PDF
TL;DR通过结合大型语言模型生成的关系分类结果解释策略，设计了多任务的合理调整策略和对比性合理重现方法来增强模型对当前和类似关系的学习能力，并在两个标准基准测试中证明了我们的方法优于现有的连续关系提取模型。
continual relation extractioncatastrophic forgettingrobustnessrationale tuningcontrastive rationale replay
发现论文，激发创造
  • 连续关系抽取的一致表示学习

    研究了连续关系抽取中存在的历史信息遗忘问题，提出了一种基于对比学习和知识蒸馏的持续关系表示学习方法，能够有效地避免历史信息遗忘，并在 FewRel 和 TACRED 数据集上进行了大量实验，相比于现有基线算法，提出的方法表现更具鲁棒性。

    Mar, 2022

  • 关系抽取的连续理由提取：合理思考所见

    本文提出了一种新的关系抽取框架 RE2，通过运用连续性和稀疏性因素来获取有关联且连贯的理由，从而解决了保留相关内容和移除噪声段落的难题。

    May, 2023

  • 基于深度学习模型的上下文关系抽取的比较分析

    使用深度学习技术来从多个句子的语境中识别适当的语义关系，以解决现有机器学习模型难以从复杂句子中提取关系的问题。本文探讨了用于关系提取的各种深度学习模型的分析。

    Sep, 2023

  • 通过对抗类别增强学习连续关系抽取的强大表示

    通过实证研究，本文指出 Catastrophic Forgetting 问题的其中一个原因是在模型学习新关系时，旧关系的学习表示不够具有健壮性，而提出了一种称为 Adversarial Class Augmentation 的方法，它可以更精确和强健地学习表示，从而改善了 Continual Relation Extraction 模型的表现。

    Oct, 2022

  • DP-CRE: 通过解耦对比学习和记忆结构保持进行连续关系抽取

    DecouPled CRE (DP-CRE) framework effectively handles the challenge of catastrophic forgetting in Continuous Relation Extraction (CRE) by decoupling the preservation of prior information and acquisition of new knowledge, outperforming other CRE baselines in extensive experiments.

    Mar, 2024

  • 通过区分类似语义来提高持续关系提取

    该研究旨在学习新出现的关系，同时避免忘记学过的关系，提出了一种用于相似关系的新颖连续抽取模型，包括设计记忆无关的关系原型和记忆增强等方法，以克服过拟合问题，并引入集成训练和关键知识蒸馏来增强对相似关系的处理，实验结果表明该模型的优越性及对相似关系的区分能力。

    May, 2023

  • 召回、检索与推理：迈向更好的上下文关系抽取

    通过提出一种召回 - 检索 - 推理关系抽取框架，将大型语言模型与检索语料库相结合，从而使语言模型能够在上下文中进行可靠的推理，以提高关系抽取的性能。

    Apr, 2024

  • 大型语言模型在对话关系提取中的实证分析

    对话关系提取（DRE）在提取对话中两个参数之间的关系方面比标准的关系提取更具挑战性，该研究发现大语言模型（LLMs）能够显著缓解现有 DRE 方法中的两个问题，通过提高模型规模可以显著提升 DRE 性能，对长且稀疏的多轮信息进行有效捕捉，并在全局对话和部分对话设置下均表现出竞争力强、制胜优势的性能。

    Apr, 2024

  • 通过分类器分解增强连续关系抽取

    许多先前的 CRE 研究仅采用传统策略，但是本文提出，此策略在训练后会出现分类器偏差和表示偏差，导致模型遗忘已学习的知识，因此我们提出了一个简单而有效的分类器分解框架，实验结果表明我们的方法性能优于现有的方法。

    May, 2023

  • 简而言之：用一种令人沮丧却行之有效的方法重新思考最新连续关系抽取模型

    提出了一个名为 FEA 的连续关系抽取方法，其中包含两个学习阶段：快速适应和平衡微调。该方法适用于处理类增量数据流，并在 TACRED 或 FewRel 上实现了与最先进的基线相当或更高的性能。通过对数据不平衡的仔细检查，我们发现 FA 阶段可以放大内存数据的潜力，而 BT 阶段有助于建立更平衡的决策边界。此方法提供了可操作的见解和建议，为未来的 CRE 模型设计提供启示。

    Sep, 2022