ACLMay, 2023

串行对比知识蒸馏在连续少样本关系提取中的应用

PDF
TL;DR本文提出了一种新模型 SCKD，通过串行知识蒸馏来保留以前模型的先前知识，并通过伪样本进行对比学习，以保持不同关系样本的表示具有足够的可区分性，实现持续的少样本关系抽取任务，并在两个基准数据集上进行了验证。
continual few-shot relation extractionsckdserial knowledge distillationcontrastive learningmemory utilization
发现论文，激发创造
  • 利用关系知识蒸馏提升对比学习

    通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

    Dec, 2021

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 通过区分类似语义来提高持续关系提取

    该研究旨在学习新出现的关系，同时避免忘记学过的关系，提出了一种用于相似关系的新颖连续抽取模型，包括设计记忆无关的关系原型和记忆增强等方法，以克服过拟合问题，并引入集成训练和关键知识蒸馏来增强对相似关系的处理，实验结果表明该模型的优越性及对相似关系的区分能力。

    May, 2023

  • 互补关系对比蒸馏

    本研究提出一种基于对比关系的知识蒸馏方法 CRCD，通过建立标定点并计算学生和教师关系的差异，有效地将结构性知识从教师模型转移到学生模型中，从而同时蒸馏出样本表示和样本之间的关系。实验证明了该方法的有效性。

    Mar, 2021

  • 连续关系抽取的一致表示学习

    研究了连续关系抽取中存在的历史信息遗忘问题，提出了一种基于对比学习和知识蒸馏的持续关系表示学习方法，能够有效地避免历史信息遗忘，并在 FewRel 和 TACRED 数据集上进行了大量实验，相比于现有基线算法，提出的方法表现更具鲁棒性。

    Mar, 2022

  • 对比有监督蒸馏用于连续表示学习

    本文提出了一种名为对比监督蒸馏（CSD）的训练过程，用于解决连续表征学习中的灾难性遗忘问题，如何通过利用蒸馏设置中的标签信息来降低特征遗忘并学习有区别力的特征，从而使学生模型从教师模型中进行对比学习，在视觉检索任务中缓解灾难性遗忘，且表现优于当前的最新方法。

    May, 2022

  • 知识蒸馏的相关性一致性

    本文提出了一种新的基于相关性的一致性知识蒸馏框架 (CCKD)，通过引入泰勒级数展开的广义核方法捕获实例间的相关性，并在图像分类任务和度量学习任务中实现了最优结果。

    Apr, 2019

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 自适应焦点损失和知识蒸馏的文档级关系抽取

    本文提出了一个半监督框架，包含三个新组件，针对文档级关系抽取任务进行优化，通过轴向注意力模块学习实体对之间的相互依赖关系、自适应 focal loss 解决 DocRE 的类别不平衡问题，以及使用知识蒸馏方法克服人工标注数据与远程监督数据之间的差异。在两个 DocRE 数据集上的实验证明我们的模型表现超过了强基线模型，并且在 DocRED 排行榜上的 F1 分数和 Ign_F1 分数分别增加了 1.36 和 1.46 分。

    Mar, 2022

  • 基于重要性采样和原型 - 实例关系蒸馏的对比持续学习

    基于对比学习的连续学习方法，该研究提出了基于重放缓冲区选择（RBS）的对比连续学习方法以确保知识的保留，并使用原型 - 实例关系蒸馏（PRD）损失来维护样本表示与原型之间的关系，实验证明该方法在在线环境中有效消除灾难性遗忘问题。

    Mar, 2024