AAAIDec, 2021

利用最优传输距离进行知识蒸馏，提高神经跨语言摘要生成的效果

PDF
TL;DR本文提出了基于知识蒸馏的跨语言摘要框架，通过 Sinkhorn Divergence 实现了师生之间的知识转移，并在跨语言摘要数据集上证明了该方法的高效性。
cross-lingual summarizationmulti-task learningself-attention mechanismknowledge-distillation-based frameworksinkhorn divergence
发现论文，激发创造
  • 通过最优传输压缩提升低资源语言的跨语言信息检索

    本文提出了 OPTICAL：优化传输蒸馏用于低资源跨语种信息检索，该方法利用优化传输问题将知识从双语数据中分离出来，只需要少量数据就可以在低资源语种上显著提高效果。

    Jan, 2023

  • Translate-Distill：通过翻译和蒸馏学习跨语言稠密检索

    该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。

    Jan, 2024

  • 跨语言时序知识图谱推理的相互匹配知识蒸馏

    该研究探讨了跨语言时间知识图谱推理问题，并提出了相应的相互加速的知识蒸馏模型，用于解决在低资源语言下推理性能不佳的问题。

    Mar, 2023

  • C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用

    本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。

    Oct, 2022

  • KNOT：使用最优输运进行知识蒸馏来解决自然语言处理任务

    我们提出了一种新的方法，使用最优传输进行知识蒸馏 (KNOT)，从多个教师网络中提取自然语言的语义知识传输到一个学生网络中。此方法通过学习最小化分配给标签的概率分布的最优传输成本到教师模型的概率加权和的学生模型（全局）来训练学生模型，新的语义距离（SD）度量衡量预测和真实标签分布之间的语义接近程度。该方法在三个 NLP 任务上表现出了比基准更好的 SD 性能，并在标准准确性和 F1 度量上与基于熵的蒸馏表现相当。

    Oct, 2021

  • 使用 Wasserstein 知识蒸馏提高神经主题模型

    本文提出了一种知识蒸馏框架，以压缩具有大内存占用的上下文化主题模型，而不会在主题质量上造成损失，并在两个公开数据集上进行实验以证明其有效性。

    Mar, 2023

  • 跨语种语义相似匹配的多阶段蒸馏框架

    本论文提出了一种多阶段蒸馏框架来构建小型但高性能的跨语言模型，同时结合对比学习、瓶颈和参数循环策略，解决了模型压缩过程中性能损失严重的问题，并证明该方法可以将 XLM-R 和 MiniLM 的大小压缩了 50％以上，而性能仅降低了约 1％。

    Sep, 2022

  • Sinkhorn 距离最小化的知识蒸馏

    通过 Sinkhorn 知识蒸馏方法，克服了传统教师 - 学生模式中 Kullback-Leibler 散度的模型坍缩、反 Kullback-Leibler 散度的模型平均以及 Jensen-Shannon 散度的模型低估等问题，有效地压缩大型语言模型并在多样的自然语言处理任务中取得了优越性能。

    Feb, 2024

  • 使用双语语义相似奖励的深度强化模型进行零样本跨语言摘要

    本文介绍了一种使用深度强化学习实现的跨语言文本摘要模型，引入了先前单语言文摘的预训练技术，并得出使用双语语义相似性作为奖励来生成摘要的强化学习模型比强基线效果更好的结论。

    Jun, 2020

  • 大型语言模型的双空间知识蒸馏

    通过提出双空间知识蒸馏 (DSKD) 框架，我们解决了当前白盒知识蒸馏框架中不同模型之间输出空间差异导致的问题，并进一步开发了跨模型注意力机制，支持具有不同词汇的任意两个大语言模型之间的知识蒸馏。实验证明，DSKD 在各种距离函数下显著优于当前白盒知识蒸馏框架，并且超过了现有的具有不同词汇的大语言模型的其他知识蒸馏方法。

    Jun, 2024