Mar, 2023

跨语言时序知识图谱推理的相互匹配知识蒸馏

PDF
TL;DR该研究探讨了跨语言时间知识图谱推理问题，并提出了相应的相互加速的知识蒸馏模型，用于解决在低资源语言下推理性能不佳的问题。
cross-lingual knowledge graph reasoningtemporal knowledge graphslow-resource languagesmutually-paced knowledge distillationtemporal cross-lingual attention
发现论文，激发创造
  • 多语言语言模型预训练的语义知识多级蒸馏

    本论文提出了一种新的多层次多语种知识蒸馏方法（MMKD），采用英语 BERT 中的丰富语义表征知识和师生框架来鼓励源 - 目标对之间的多个层次一致性和教师和学生模型之间的相关相似性，以提高预先训练的多语种语言模型的性能。在横跨语言的评价任务中进行了实验证明，相对其他基线模型，MMKD 在 XNLI 和 XQuAD 上表现更好，在 PAWS-X 上表现相当，并且在低资源语言上获得了显著的性能提升。

    Nov, 2022

  • 利用相互知识蒸馏的集体知识图谱补全

    本文介绍了一种名为 CKGC-CKD 的新方法，通过使用关系感知图卷积网络编码模型在集成的知识图谱和各自的知识图谱上进行训练，以最大程度地利用来自不同知识图谱的集体知识，从而缓解了个体知识图谱的不完整性，并通过相互知识蒸馏机制来进行知识传递，在多语言数据集上取得了比所有先进模型更好的知识图谱完成结果。

    May, 2023

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • 利用最优传输距离进行知识蒸馏，提高神经跨语言摘要生成的效果

    本文提出了基于知识蒸馏的跨语言摘要框架，通过 Sinkhorn Divergence 实现了师生之间的知识转移，并在跨语言摘要数据集上证明了该方法的高效性。

    Dec, 2021

  • 神经机器翻译知识蒸馏理解与改进探究

    本文研究神经机器翻译中知识蒸馏的技术，发现知识来源于教师的 top-1 预测，进一步提出一种名为 TIE-KD 的方法用于增强知识蒸馏，包含了层次排序损失和迭代蒸馏等措施，实验证明 TIE-KD 优于基准模型，具有更高的潜力和泛化性能。

    May, 2023

  • 基于知识蒸馏的多语言神经机器翻译的终身学习

    研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。

    Dec, 2022

  • 通过自我知识蒸馏促进少资源场景下的通用跨语言问答

    我们提出了一种实用的解决方案，通过高效利用有限的数据资源，改善跨语言问答的转移能力。

    Sep, 2023

  • 预训练语言模型的梯度知识蒸馏

    本文提出了一种新的知识蒸馏方法（GKD），通过引入梯度对齐这一重要的知识源，以提高预训练语言模型的学生模型的性能和可解释性。实验结果表明，使用 GKD 比先前的知识蒸馏方法效果更好。

    Nov, 2022

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019