EMNLPApr, 2020

使用知识蒸馏将单语句子嵌入多语言

PDF
TL;DR本文介绍了一种将现有的句子嵌入模型扩展到新语言的简便有效方法，训练基于将翻译后的句子映射到与原始句子相同的向量空间位置的思想，相较于其他多语言句子嵌入训练方法，具有扩展现有模型以增加新语言的简易性、保证向量空间所需属性的易操作性和较低的硬件要求等优势。代码已公开，可以用于将句子嵌入模型扩展到 400 多种语言。
multilingual sentence embeddingslanguage translationvector spacetrainingmonolingual models
发现论文，激发创造
  • 多语言神经机器翻译与知识蒸馏

    本文提出一种基于蒸馏的方法来提高多语言机器翻译的准确性，并在数据集上进行了实验，结果表明该方法可以通过训练单独的模型（即老师）来训练多语言模型，这使得一个模型即可具备处理多达 44 种不同语言的能力（且其准确性与单独模型相当甚至更优）。

    Feb, 2019

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022

  • 多语言序列标注的结构级知识蒸馏

    该研究提出使用知识蒸馏减少多语言模型与单语言模型之间性能差距，实验结果显示我们的方法优于多个基准模型并具有更强的零次通用性。

    Apr, 2020

  • 利用多语言知识蒸馏的句子嵌入模型在古希腊语中的应用

    通过使用多语言知识蒸馏方法训练 BERT 模型，本研究为古希腊文本生成句子嵌入，借鉴了高资源语言的模型性质，同时使用了相对较少的翻译句子数据。通过创建一个平行语料库，将古希腊文档与英文译文进行对齐，并使用这个数据集训练模型。研究还通过翻译搜索、语义相似性和语义检索任务以及翻译偏差调查的评估方法对模型进行了测试。

    Aug, 2023

  • 如何实现平衡高效的多语言模型：既保护用户数据，又保持模型性能

    本文提出了一种基于教师 - 学生知识蒸馏的新型多语种训练技术，利用平衡（子采样）数据将单语教师模型的知识蒸馏到一个多语种学生中，可以提高自然语言处理系统中低资源语言的表现。

    Oct, 2022

  • 组合式分布式语义的多语言模型

    通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

    Apr, 2014

  • 多语言无监督神经机器翻译的知识蒸馏

    本文介绍了一种简单的方法，使用单个编码器和解码器之间的翻译来在 13 种语言之间翻译，基于经验发现，提出了两种知识蒸馏方法，以进一步增强多语言机器翻译性能。我们的实验表明，在零 - shot 翻译方案中，在低资源语言对中减轻了糟糕的性能，并在一些非英语语言对之间实现了可靠性能。

    Apr, 2020

  • 基于跨语言词向量的多语言新闻聚类研究

    本文提出一种用于分类跨语言新闻的 incorporating clustering 模型，该模型使用跨语言向量表示新闻，使用 LDA 主题模型表示新闻内容，采用 Single-Pass 聚类算法进行优化，并利用知识蒸馏技术，将两个语义空间拟合为一个混合语义空间。

    May, 2023

  • 多语言概念归纳的嵌入式学习

    本文提出利用概念归纳进行嵌入式学习的新方法，通过对高度并行的语料库进行测试，学习了 1259 种不同语言的语义表示，并在跨语言单词相似性和情感分析上进行了广泛实验评估，表明基于概念的多语言嵌入学习表现优于以往的方法。

    Jan, 2018

  • LEALLA: 通过知识蒸馏学习轻量级、语言无关的句子嵌入

    本研究使用轻量级模型系统地探索学习通用句子嵌入的方法，证明了一种深薄编码器可以构建 109 种语言的强韧低维句子嵌入，并通过引入知识蒸馏方法进一步提高模型性能。实验证明，如此轻量级模型在 Tatoeba，联合国和 BUCC 上展现了出色的效果，并在 TensorFlow Hub 上发布了名为 LEALLA 的语言无关句子嵌入模型。

    Feb, 2023