EMNLPDec, 2023

使用 Fisher 信息矩阵在多语言翻译模型中聚类伪语系

PDF
TL;DR通过使用费舍尔信息矩阵（FIM）将语言家族进行聚类，我们提出了一种创新的方法来解决多语言翻译模型训练阶段数据集变化所带来的挑战，并定义了伪语言家族。实证评估结果显示，采用这些伪语言家族能够在适应陌生语言对的多语言翻译模型中提高性能，该方法也可扩展到对语言相似度进行测量的场景。
multilingual translation researchlanguage familiesclusteringfisher information matrixpseudo language families
发现论文，激发创造
  • 多语言表示的联合矩阵因式分析

    我们提出了一种基于联合矩阵分解的分析工具，用于比较多语言和单语言模型的潜在表示。我们使用这个工具，研究了多语言预训练模型学习的表示中在何种程度上和如何反映了形态句法特征。通过对 33 种语言和 17 种形态句法类别进行大规模实证研究，我们发现不同的形态句法信息在不同层次的编码中存在差异，这些差异受到语言属性的影响。对分解输出进行层次聚类得到了一棵树状结构，与由语言学家手工制作的系统发生关系的系统发生树。此外，我们发现分解输出与不同的跨语言任务中观察到的性能之间存在强关联。我们发布了我们的代码以促进未来的研究。

    Oct, 2023

  • 多语言语言聚类神经机器翻译

    本文提出了一种语言聚类框架，通过使用两种语言聚类的方法（一种是根据语言系族群划分，另一种是使用语言向量嵌入空间进行聚类），将成千上万种语言分成不同的群组，并针对每个群组训练一个多语言神经机器翻译模型，该方法可以有效提高翻译准确度。

    Aug, 2019

  • 多语言神经机器翻译的语言家族适配器

    本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

    Sep, 2022

  • 基于系统发育的多语种模型自适应到新语言

    本研究展示了如何利用语言的亲缘关系信息，以结构化、基于语言学的方式改进跨语言转移，并在多个语言家族（如日耳曼语族、乌拉尔语族、托皮语族和乌托邦 - 阿兹特克语族）上进行适配器训练，在句法和语义任务上实现相对性能提升超过 20%，特别是在没有预先训练的语言上。

    May, 2022

  • 跨语言嵌入对齐的内积投影过滤

    本文提出了一种方法 -“过滤内积投影（FIPP）”，用于在双语字典诱导的上下文中将嵌入映射到共同的表示空间，并评估了 FIPP 的性能。不同于之前的方法，FIPP 在两个嵌入中识别共同的几何结构，然后仅在该几何结构上对这些嵌入的格拉姆矩阵进行对齐，且具有易于实现和可伸缩的计算优势。在各种语言对的 MUSE 数据集上，FIPP 的结果优于现有方法。

    Jun, 2020

  • 多枢轴集成和大规模多语言机器翻译模型的研究

    大规模多语言机器翻译模型在一种模型中翻译大量语言，但在低资源和非常低资源的翻译方向上的性能有限。在这篇论文中，我们重新审视通过多个语言进行枢轴翻译的方法。我们提出了 MaxEns 作为一种组合策略，偏向于最自信的预测，以减少翻译中出现的幻觉问题。通过在 FLORES 基准测试中评估不同策略，我们证明 MaxEns 提高低资源语言的翻译质量，同时减少翻译中的幻觉，相对于直接翻译和平均方法。平均而言，多枢轴策略仍然落后于使用英语作为单个枢轴语言，这引发了如何为特定翻译方向确定最佳枢轴策略的问题。

    Nov, 2023

  • 评估密切相关语言间相互可理解性的计算模型

    通过使用线性判别学习者以及多语义向量和多语言音类的多语言建模方法，该研究提供了一种计算方法来自动化测试语言之间的相互可理解性，并发现模型的理解准确性取决于词尾的自动修整和测试的语言对。

    Feb, 2024

  • 语言相关性在多语言语言模型微调中的作用：印度雅利安语的案例研究

    本文探讨利用多语言微调技术在 NLP 模型中利用同一语系的相关性对性能的影响，结果表明在微调预训练的多语言模型时，与单独微调每一语言相比，多语言微调可以在下游 NLP 应用程序中获得更好的性能。 印欧 - 雅利安语系（IA）被选为研究对象，实验结果表明精细选择一组相关语言的性能比使用所有相关语言显着提高。

    Sep, 2021

  • 面向大规模多语言神经机器翻译的信息性语言表示学习

    本研究提出了两种方法，即语言嵌入体现和语言感知多头注意力，以学习信息量丰富的语言表示，从而缓解在多语言神经机器翻译模型中引导翻译的语言令牌的失效问题，并且在两个大规模多语言神经机器翻译数据集上取得了显著的性能提升。同时，进一步的语言类型学预测实验证明，我们的方法学习到的基于矩阵的语言表示可以捕捉丰富的语言类型学特征。

    Sep, 2022

  • 通过从共享空间投影简化多语言新闻聚类

    该研究提出了一个能够在多种语言中聚类新闻文章的在线系统，利用多语言上下文嵌入作为文档表示，由线性分类器聚合相似文件，通过在线合并来纠正相关的多语言聚类，并在多语言新闻流聚类数据集上取得了最新的成果。

    Apr, 2022