Jan, 2022

分治法提高句子对齐精度

PDF
TL;DR本研究介绍了一种分治算法，利用外部双语句子嵌入来找到精确的边界，将任何二次时间复杂度的句子对齐算法转化为平均时间复杂度为 O (NlogN) 的算法，并在标准 OCR 生成的数据集上将 Bleualign 基线提高了 3 个 F1 点。
divide-and-conquer algorithmbilingual sentence embeddingsmonte carlo simulationalgorithm complexityparallel text alignment
发现论文，激发创造
  • SentAlign: 准确可扩展的句子对齐

    SentAlign 是一个准确的句子对齐工具，用于处理非常大的并行文档对。在用户定义的参数下，该对齐算法评估数千个句子的大型文档中的所有可能对齐路径，并使用分治方法对包含数万个句子的文档进行对齐。评分函数基于 LaBSE 双语句子表示。在两个不同的评估数据集，即德法和英冰数据集上以及下游机器翻译任务中，SentAlign 优于其他五个句子对齐工具。

    Nov, 2023

  • 多语句向量的自适应双语对准

    本文介绍了一种自适应双文本对齐系统 AIlign，它利用句子嵌入提取可靠的锚点来引导对齐路径，即使对于平行性不完整且不严格单调的文本也能够实现对齐。在多个数据集上的实验中，我们表明 AIlign 以准线性的复杂度实现了与现有技术水平等效的结果。此外，与 Vecalign 或 Bertalign 等最近的系统不同，AIlign 能够处理仅在局部满足平行性和单调性属性的文本。

    Mar, 2024

  • 利用句子顺序进行文档对齐

    该研究提出了一种简单的文档对齐方法，该方法在候选生成和候选重新打分中都利用了句子顺序信息，并相对于 WMT16 文档对齐任务的最佳结果减少了 61％的错误。该方法提高了从 ParaCrawl 的网页抓取的僧伽罗语 - 英语文档的下游机器翻译性能，并且优于最新 ParaCrawl 发布中使用的文档对齐方法。 此外，该方法还优于使用相同多语言嵌入的可比语料库方法，证明利用句子顺序即使目标是句子级双语文本也是有益的。

    Apr, 2020

  • 利用封闭访问的多语言嵌入进行低资源语言的自动句子对齐

    我们提出了一个简单而定性的平行句子对齐算法，利用闭源 Cohere 多语言嵌入，通过与 MAFAND-MT 数据集训练翻译模型，在 FLORES 和 MAFAND-MT 上分别实现了 $94.96$ 和 $54.83$ 的 f1 分数，相较于 LASER，BLEU 分数提升了超过 5 个单位。

    Nov, 2023

  • 多并行词对齐的图算法

    本研究提出了两种基于图的算法，利用跨语言数据集的多对多对齐策略来提高双语词对齐的效率。在多个数据集上的实验结果显示，在 F1 得分上的绝对改进率高达 28%。

    Sep, 2021

  • 领域无关线性文本分割的进展

    本篇论文介绍了一种线性文本分割的方法，相比于现有技术（Reynar，1998），其准确性提高了两倍，速度加快了七倍以上。该方法通过局部上下文中的排名替代句间相似度，并利用分裂聚类发现边界位置。

    Mar, 2000

  • 使用多语言句子嵌入进行基于边际的平行语料库挖掘

    提出一种基于多语言句子嵌入的平行语料库过滤新方法，通过考虑给定句子对及其最接近的候选句子之间的间隔来修正余弦相似性的尺度不一致性，将结果与现有方法进行比较，结果表明该方法显著提高了翻译自动化水平。

    Nov, 2018

  • 使用双语句子嵌入的有效并行语料库挖掘

    该研究提出了一种有效的并行语料库挖掘方法，使用双语句子嵌入进行训练，通过引入硬负例来实现。该方法是基于语义相似度的，结果表明该方法可以用于重建平行文本，从而训练出 NMT 模型，与使用原始数据训练的模型相差不大。

    Jul, 2018

  • 基于跨语言句子移位距离的大规模多语言文档对齐

    本文提出一种基于跨语言句嵌入的无监督打分函数，用于计算不同语言中文档之间的语义距离，从而指导文档对齐算法以适当地匹配跨语言 Web 文档，并在不同语言对中显著提高对齐效果。

    Jan, 2020

  • 通过软对比学习改善多语言对齐

    提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。

    May, 2024