Nov, 2023

利用封闭访问的多语言嵌入进行低资源语言的自动句子对齐

PDF
TL;DR我们提出了一个简单而定性的平行句子对齐算法，利用闭源 Cohere 多语言嵌入，通过与 MAFAND-MT 数据集训练翻译模型，在 FLORES 和 MAFAND-MT 上分别实现了 $94.96$ 和 $54.83$ 的 f1 分数，相较于 LASER，BLEU 分数提升了超过 5 个单位。
qualitative parallel datamachine translationclosed-access cohere multilingual embeddingfloresmafand-mt
发现论文，激发创造
  • 使用多语言句子嵌入进行基于边际的平行语料库挖掘

    提出一种基于多语言句子嵌入的平行语料库过滤新方法，通过考虑给定句子对及其最接近的候选句子之间的间隔来修正余弦相似性的尺度不一致性，将结果与现有方法进行比较，结果表明该方法显著提高了翻译自动化水平。

    Nov, 2018

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • 无监督多语言句子嵌入用于平行语料挖掘

    本研究提出了一种新的无监督方法，通过使用单语数据来获得跨语言句子嵌入，产生了合成平行语料库，使用预训练的跨语言掩码语言模型（XLM）对其进行微调以得到多语言句子表示，并在两个平行语料库挖掘任务上评估了表示的质量，结果表明，这种方法可以比基准 XLM 模型获得高达 22 个 F1 点的改进。此外，我们还观察到，单个合成的双语语料库能够改善其他语言对的结果。

    May, 2021

  • 利用多语言句子嵌入进行低资源语料库过滤

    本研究使用 LASER 工具包，基于编码 - 解码结构训练平行语料库，直接对多语言句子进行表征和过滤，通过与其他方法对比结果表明其在低资源及无资源情况下具有良好效果。

    Jun, 2019

  • 使用双语句子嵌入的有效并行语料库挖掘

    该研究提出了一种有效的并行语料库挖掘方法，使用双语句子嵌入进行训练，通过引入硬负例来实现。该方法是基于语义相似度的，结果表明该方法可以用于重建平行文本，从而训练出 NMT 模型，与使用原始数据训练的模型相差不大。

    Jul, 2018

  • 跨模态对齐的低资源神经机器翻译

    本文提出一种跨媒体对比学习方法，将几种低资源语言与高资源语言相连，通过少量的图像 - 文本对实现神经机器翻译，取得了显著的效果。

    Oct, 2022

  • 通过软对比学习改善多语言对齐

    提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。

    May, 2024

  • 多语句向量的自适应双语对准

    本文介绍了一种自适应双文本对齐系统 AIlign，它利用句子嵌入提取可靠的锚点来引导对齐路径，即使对于平行性不完整且不严格单调的文本也能够实现对齐。在多个数据集上的实验中，我们表明 AIlign 以准线性的复杂度实现了与现有技术水平等效的结果。此外，与 Vecalign 或 Bertalign 等最近的系统不同，AIlign 能够处理仅在局部满足平行性和单调性属性的文本。

    Mar, 2024

  • 双语语料库挖掘和多阶段微调以提升讲座文稿机器翻译

    展示了一种利用公开的课程资料进行平行语料挖掘的框架，通过动态规划的句子对齐算法和机器翻译相似度，达到了 96% 的句子对齐 F1 分数，并通过机器翻译实验证明，挖掘到的语料能提高课程讲稿翻译的质量。

    Nov, 2023

  • 数据增强和理性训练法实现跨语言句子选择

    该论文提出了一种跨语言句子选择的方法，旨在使用数据增强和负采样技术来直接学习基于嵌入的跨语言查询相关模型，结果显示该方法的效果不亚于或优于多个最先进的机器翻译 + 单语检索系统，该方法在英语 - 索马里语、英语 - 斯瓦希里语和英语 - 塔加洛语三种语言对中获得了一致的改进。

    Jun, 2021