Oct, 2022

Luhya 和 Swahili 的极低资源句子对齐

PDF
TL;DR本文探讨了使用 LASER 和 LaBSE 这两种预训练模型生成不受语言限制的句子嵌入，在挖掘大型数据集以生成低资源机器翻译平行语料库方面的应用。作者测试了这两种模型在提取两种相关的低资源非洲语言 Luhya 和 Swahili 的双语数据时的表现。实验结果表明，LaBSE 在两种语言上表现优于 LASER。只是两者在对 Luhya 数据进行零射击对齐方面的表现不佳，仅可分别取得 1.5％ 和 22.0％ 的成功对齐率。作者利用极少量的平行 Luhya 句子对嵌入进行微调后的实验表明，LaBSE 的对齐精度得到了显著提高，达到了 53.3%。此外，限制 cosine 相似度大于 0.7 的句子嵌入对进行对齐也可得到超过 85% 的准确率。
发现论文，激发创造
  • 利用多语言句子嵌入进行低资源语料库过滤

    本研究使用 LASER 工具包，基于编码 - 解码结构训练平行语料库，直接对多语言句子进行表征和过滤，通过与其他方法对比结果表明其在低资源及无资源情况下具有良好效果。

    Jun, 2019

  • 多语言句子转换器作为多语词汇对齐器

    本篇论文探究了多语言句子 Transformer LaBSE 在多语言单词对齐问题上的表现以及提出了一种用于进一步改进的平行语料库微调方法，实验证明我们的方法优于先前的最先进模型，可支持单个模型中的不同语言对的对齐，甚至在零射击语言对上实现了新的最先进。

    Jan, 2023

  • 面向南部非洲语言的低资源神经机器翻译

    通过比较零 - shot 学习、迁移学习和多语言学习在三种班图语（Shona、IsiXhosa 和 IsiZulu）和英语翻译中的表现，我们展示了语言相似性对英语到 isiZulu 的迁移学习性能的重要性，并证明多语言学习在我们的数据集上优于迁移学习和零 - shot 学习，其最佳模型相对于基线英语到 isiZulu 模型的 BLEU 得分提高了 9.9、6.1 和 2.0，同时超过了之前的最佳表现。

    Apr, 2021

  • 利用封闭访问的多语言嵌入进行低资源语言的自动句子对齐

    我们提出了一个简单而定性的平行句子对齐算法，利用闭源 Cohere 多语言嵌入，通过与 MAFAND-MT 数据集训练翻译模型，在 FLORES 和 MAFAND-MT 上分别实现了 $94.96$ 和 $54.83$ 的 f1 分数，相较于 LASER，BLEU 分数提升了超过 5 个单位。

    Nov, 2023

  • 不再是低资源：对齐器集成、批处理过滤和新的孟加拉 - 英语机器翻译数据集

    本研究利用自定义句子分段器和两种新方法，构建一个高质量的孟加拉语 - 英语双语平行语料库，从而提高孟加拉语机器翻译的 BLEU 指标，并评估了一个包含 1000 个双语句对的测试集，释放了分段器，平行语料库和评估集，为孟加拉语以及其他低资源语言的机器翻译研究铺平了道路。

    Sep, 2020

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • Sinhala-English 单词嵌入对齐：向低资源语言引入数据集和基准

    利用可用的对齐技术，本研究试图对齐僧伽罗语和英语单词嵌入空间，并引入了僧伽罗语嵌入对齐的基准。此外，为了促进有监督的对齐，我们还引入了僧伽罗语 - 英语对齐数据集，作为我们针对词嵌入对齐的锚数据集。尽管与法语、德语或中文等高资源语言相比，我们的结果并不可比，但我们相信我们的工作为英语和僧伽罗语嵌入之间的更专门的对齐奠定了基础。

    Nov, 2023

  • 在卢干达语和英语之间构建平行语料库和训练翻译模型

    本文介绍了一个针对 Luganda 语的 NMT 模型，首次建立 Luganda-English 双语平行语料，并且我们的模型在语言翻译 BLEU 评价中表现出较高的质量，证明为低资源语言建立机器翻译模型的可行性。

    Jan, 2023

  • 共享嵌入空间中跨语言性的大规模多语言分析

    本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

    Sep, 2021

  • 一种轻量级的跨语言语义文本相似度方法

    该研究提出了一种基于词向量的跨语义相似度计算方法，只需要一个有限的单词翻译库，能够适用于几乎所有语言对，达到与监督和资源密集型方法相近的表现，在可比较语料库中提取平行句子和跨语言抄袭检测任务中得到与现有模型相当的性能。

    Jan, 2018