EMNLPNov, 2023

SentAlign: 准确可扩展的句子对齐

PDF
TL;DRSentAlign 是一个准确的句子对齐工具，用于处理非常大的并行文档对。在用户定义的参数下，该对齐算法评估数千个句子的大型文档中的所有可能对齐路径，并使用分治方法对包含数万个句子的文档进行对齐。评分函数基于 LaBSE 双语句子表示。在两个不同的评估数据集，即德法和英冰数据集上以及下游机器翻译任务中，SentAlign 优于其他五个句子对齐工具。
sentalignsentence alignment toolparallel document pairsscoring functionbilingual sentence representations
发现论文，激发创造
  • 多语句向量的自适应双语对准

    本文介绍了一种自适应双文本对齐系统 AIlign，它利用句子嵌入提取可靠的锚点来引导对齐路径，即使对于平行性不完整且不严格单调的文本也能够实现对齐。在多个数据集上的实验中，我们表明 AIlign 以准线性的复杂度实现了与现有技术水平等效的结果。此外，与 Vecalign 或 Bertalign 等最近的系统不同，AIlign 能够处理仅在局部满足平行性和单调性属性的文本。

    Mar, 2024

  • 基于跨语言句子移位距离的大规模多语言文档对齐

    本文提出一种基于跨语言句嵌入的无监督打分函数，用于计算不同语言中文档之间的语义距离，从而指导文档对齐算法以适当地匹配跨语言 Web 文档，并在不同语言对中显著提高对齐效果。

    Jan, 2020

  • 分治法提高句子对齐精度

    本研究介绍了一种分治算法，利用外部双语句子嵌入来找到精确的边界，将任何二次时间复杂度的句子对齐算法转化为平均时间复杂度为 O (NlogN) 的算法，并在标准 OCR 生成的数据集上将 Bleualign 基线提高了 3 个 F1 点。

    Jan, 2022

  • 利用句子顺序进行文档对齐

    该研究提出了一种简单的文档对齐方法，该方法在候选生成和候选重新打分中都利用了句子顺序信息，并相对于 WMT16 文档对齐任务的最佳结果减少了 61％的错误。该方法提高了从 ParaCrawl 的网页抓取的僧伽罗语 - 英语文档的下游机器翻译性能，并且优于最新 ParaCrawl 发布中使用的文档对齐方法。 此外，该方法还优于使用相同多语言嵌入的可比语料库方法，证明利用句子顺序即使目标是句子级双语文本也是有益的。

    Apr, 2020

  • 多语言句子转换器作为多语词汇对齐器

    本篇论文探究了多语言句子 Transformer LaBSE 在多语言单词对齐问题上的表现以及提出了一种用于进一步改进的平行语料库微调方法，实验证明我们的方法优于先前的最先进模型，可支持单个模型中的不同语言对的对齐，甚至在零射击语言对上实现了新的最先进。

    Jan, 2023

  • 使用潜在语义索引实现双语文档对齐

    本文研究了如何在双语文档对齐任务中应用交叉语言传递矩阵，提取出文档的重要特征，通过将两种余弦相似度变量与 URL 相似度量的结合，可以达到高精度的 Web 页面对齐。

    Jul, 2017

  • 构建主题对齐的可比较语料库并挖掘其中真正的平行句对

    通过使用网页爬取方法和机器翻译系统，本文提出了一种从维基百科文章中获取主题对齐比较语料库的方法，并且能够提取噪音干扰较小的平行句子。

    Sep, 2015

  • ABsent: 双向 GAN 的跨语言句子表示映射

    提出了 Adversarial Bi-directional Sentence Embedding Mapping（ABSent）框架，它能够从有限量的平行数据中学习跨语言句子表示的映射，解决了跨语言转移学习中平行数据量有限的问题。

    Jan, 2020

  • 利用封闭访问的多语言嵌入进行低资源语言的自动句子对齐

    我们提出了一个简单而定性的平行句子对齐算法，利用闭源 Cohere 多语言嵌入，通过与 MAFAND-MT 数据集训练翻译模型，在 FLORES 和 MAFAND-MT 上分别实现了 $94.96$ 和 $54.83$ 的 f1 分数，相较于 LASER，BLEU 分数提升了超过 5 个单位。

    Nov, 2023

  • 多并行词对齐的图算法

    本研究提出了两种基于图的算法，利用跨语言数据集的多对多对齐策略来提高双语词对齐的效率。在多个数据集上的实验结果显示，在 F1 得分上的绝对改进率高达 28%。

    Sep, 2021