Nov, 2023

使用锚点和一系列相关语言的多语言词嵌入：面向低资源语言

PDF
TL;DR通过一种基于语言链的新方法构建多语言词嵌入（MWEs），该方法通过中间相关语言弥合远源和目标的差距。我们通过在语言链中逐个添加每种语言，从资源丰富的源语言开始，构建 MWEs。我们将半联合双语方法扩展到多种语言，以消除以前工作的主要弱点，即独立训练的单语词嵌入，并使目标语言围绕多语言空间进行锚定。我们在涉及 4 个非常低资源（<5M 令牌）和 4 个适度低资源（<50M）目标语言的 4 个语言家族的双语词典感应中评估了我们的方法，显示了两个类别的改进性能。此外，我们的分析揭示了中间语言的高质量嵌入的重要性，以及利用多语言空间中所有语言的锚点的重要性。
发现论文，激发创造
  • 针对低资源语言的基于锚点的双语词嵌入

    提出了一种新的构建双语词向量嵌入的方法，该方法利用高资源源语言的向量空间作为训练低资源目标语言嵌入空间的起点，并通过使用源向量作为锚点，在训练过程中自动对齐向量空间，结果表明该方法不仅提高了双语词向量的质量和双语词汇词典归纳的性能，而且提高了目标语言的单语词相似性。

    Oct, 2020

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • 无监督多语言词向量

    提出了一种全新的多语言词向量空间的无监督学习框架，该框架可以直接捕捉不同语言之间的交互关系，从而显著提高多语种单词转换和跨语种单词相似度的效果，并且比使用跨语种资源的监督式方法表现更好。

    Aug, 2018

  • 低资源语言的同构跨语言嵌入

    本论文提出了一种跨语言词嵌入学习框架，其综合利用相关高资源语言，以解决低资源语言跨语言表示学习中的几何结构相似度不足的问题，并通过双语词表感应和特征值相似性等多个语言对的实验验证，在新颖性和性能上均有所提升。

    Mar, 2022

  • 超越离线映射：通过上下文锚定学习跨语言词向量

    本研究提出了一种基于弱监督（仅有相同单词列表）的方法，通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题，并在双语词表归纳和 XNLI 任务上取得了较好的结果，相比于传统的映射方法表现更好。

    Dec, 2020

  • 结合预训练的高资源嵌入和子词表示用于低资源语言

    研究了利用字根丰富的语言和预训练字向量相结合的方法，来提高低资源非洲语言的自然语言处理精度并在 Xhosa - 英语翻译任务中取得了最佳表现。

    Mar, 2020

  • 零资源语言的多语种音频词向量

    该研究针对缺乏已标注数据的零资源语言开发语音应用的挑战，特别使用声学词嵌入（AWE），通过多语言转移利用来自几种资源丰富的语言的已标注数据。该研究介绍了一种新的神经网络，优于现有的 AWE 模型在零资源语言上的表现，研究还探讨了资源丰富语言的选择对结果的影响。AWE 应用于斯瓦希里语广播中的仇恨言论检测的关键词识别系统，展示了在实际场景中的稳健性。此外，新颖的语义 AWE 模型提高了语义查询示例搜索的性能。

    Jan, 2024

  • 低资源语言的跨语言形态标注

    提出了一种适用于低资源语言的模型来训练形态标记器，该模型使用 Wesabie 模型进行打标， 通过在语料库中引入 POS 词性标注的元信息，将标记信息从富资源语言映射到贫资源语言，实现了跨语言知识的迁移，可以提高句法分析的效果。

    Jun, 2016

  • 一种简单而有效的方法来提高零样本跨语言迁移学习

    本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

    Oct, 2022

  • 100 语言的实体链接

    提出了一种新的多语言实体链接公式，其中语言特定的提及解析为面向语言不可知的知识库。 在改进特征表示，负面挖掘和辅助实体配对任务的先前工作的基础上，我们在这个新的环境中训练了一个双编码器，以获得单个实体检索模型，它涵盖了 100 多种语言和 2000 万个实体。该模型胜过了远远有限的跨语言链接任务的最新结果。 这个大规模的系统面临着罕见实体和低资源语言的挑战，因此我们主张增加对零点和少量射击评估的关注。 为此，我们提供了 Mewsli-9，一个新的大型多语言数据集，帮助我们了解基于频率的分析如何为我们的模型和训练增强提供关键见解。

    Nov, 2020