ACLMay, 2023

低资源语言下跨语言知识蒸馏的答案句子选择

PDF
TL;DR本文提出了一种名为 Cross-Lingual Knowledge Distillation (CLKD) 的方法，使用强大的英文 Answer Sentence Selection（AS2）模型作为老师进行跨语言知识蒸馏，可用于训练对于标注数据有限的低资源语言的 AS2 模型。作者还介绍了两个多语言数据集进行了实证研究，通过多次实验验证，CLKD 方法在不用标注数据的情况下，可与使用相同数量标注数据的监督微调方法相媲美，具有潜力为低资源语言提供更强大的 AS2 模型，同时这两个多语言数据集能够在 AS2 领域进行更广泛的研究。
发现论文，激发创造
  • 通过自我知识蒸馏促进少资源场景下的通用跨语言问答

    我们提出了一种实用的解决方案，通过高效利用有限的数据资源，改善跨语言问答的转移能力。

    Sep, 2023

  • 多语种答案句子选择数据集

    通过使用大型语言模型，本研究提出了新的高质量数据集，用于五种欧洲语言的答案句子选择（AS2）任务，并通过多个实验证明这些数据集对于生成强大且跨语言的 AS2 模型至关重要，显著缩小了英语和其他语言之间的性能差距。

    Jun, 2024

  • 跨语言时序知识图谱推理的相互匹配知识蒸馏

    该研究探讨了跨语言时间知识图谱推理问题，并提出了相应的相互加速的知识蒸馏模型，用于解决在低资源语言下推理性能不佳的问题。

    Mar, 2023

  • Translate-Distill：通过翻译和蒸馏学习跨语言稠密检索

    该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。

    Jan, 2024

  • 大型语言模型的多阶段协作知识蒸馏

    我们提出了一种多阶段协同知识蒸馏方法，用于稀缺标记数据的半监督序列预测任务，通过从提示的大型语言模型中蒸馏出的学生模型，在特定任务上能够更好地泛化，且在两个句法分析任务上表现出了优势。

    Nov, 2023

  • C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用

    本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。

    Oct, 2022

  • 使用知识蒸馏的跨语言视觉语言模型训练 (cViL)

    本文提出了一种使用英文模型作为基础，在日语和印地语等其他语言上进行视觉问题回答的模型训练方法，并采用并行句子的知识蒸馏方法，相较于使用目标语言进行预训练的模型，大大减少了资源开销。通过构建大规模视觉问题回答数据集，实现了比现有技术提高了 4.4％和 13.4％的准确性。

    Jun, 2022

  • 多语言语言模型预训练的语义知识多级蒸馏

    本论文提出了一种新的多层次多语种知识蒸馏方法（MMKD），采用英语 BERT 中的丰富语义表征知识和师生框架来鼓励源 - 目标对之间的多个层次一致性和教师和学生模型之间的相关相似性，以提高预先训练的多语种语言模型的性能。在横跨语言的评价任务中进行了实验证明，相对其他基线模型，MMKD 在 XNLI 和 XQuAD 上表现更好，在 PAWS-X 上表现相当，并且在低资源语言上获得了显著的性能提升。

    Nov, 2022

  • 大规模综合监督的跨语言开放领域问答预训练

    基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。

    Feb, 2024

  • I$^2$KD-SLU：一种用于零样本跨语言口语语言理解的内外知识蒸馏框架

    我们提出了一种用于零样本跨语言口语理解的 Intra-Inter 知识蒸馏框架（I$^2$KD-SLU），该框架模拟了意图和槽位之间的相互引导，在 MultiATIS++ 数据集上显著提高了性能并取得了新的最优结果。

    Oct, 2023