EMNLPApr, 2022

NMTScore: 基于翻译的文本相似度测量方法的多语言分析

PDF
TL;DR本研究基于多语言神经机器翻译的框架，通过分析直接和间接翻译概率以及交叉似然度量的相似度评估方法，研究了这些方法在短文本相似度评估中的性能，提出并实现了基于翻译的相似度评估方法库 NMTScore，并在两项数据生成任务和 17 种语言上进行了基于参考评价的实验，结果表明该方法较其他方法更具鲁棒性，并与人类判断有较高的相关性。
neural machine translationsimilarity measuresmultilingual nmtnmtscore libraryreference-based evaluation
发现论文，激发创造
  • 超越 BLEU：利用语义相似性训练神经机器翻译

    本文提出了一种基于语义相似度的代替奖励函数来优化 NMT 系统，在四种不同的语言翻译成英语的情况下，本文的方法不仅能提高 BLEU 和语义相似度的评估准确性，而且优化过程更快。

    Sep, 2019

  • 机器翻译质量评估中的文本相似度作为关键指标

    使用句子转换和余弦相似度来衡量语义上的相似度，本研究将 “文本相似性” 引入机器翻译（MT）质量估计（QE）作为一种新的度量标准。通过分析 MLQE-PE 数据集，我们发现文本相似性与人工评分的相关性比传统指标（hter、模型评估等）更强。应用 GAMMs 作为统计工具，我们证明了文本相似度在多种语言对中一致优于其他指标来预测人工评分。我们还发现 “hter” 在质量估计中无法准确预测人工评分。我们的发现突出了文本相似性作为一个强大的质量估计度量标准，建议将其与其他指标结合到 QE 框架和 MT 系统训练中，以提高准确性和可用性。

    Jun, 2024

  • 通过领域自适应技术利用语言相关性进行机器翻译

    本文提出了一种新颖的方法使用基于 5-gram KenLM 语言模型的缩放相似性分数，尤其是对于相关语言，该方法使用 Kneser-ney 平滑技术从域内数据中过滤出域外数据，以提高机器翻译的翻译质量。 此外，我们采用了其他域自适应技术，如多域、微调和迭代回译方法，以比较我们在 Hindi-Nepali 语言对上的新方法在 NMT 和 SMT 上的效果，我们的方法在多域方法上增加了约 2 个 BLEU 点，在微调 NMT 方面提高了约 3 个 BLEU 点，在迭代回译上提高了约 2 个 BLEU 点。

    Mar, 2023

  • 风格转移和改写：寻找合理的语义相似性度量

    本文分析了超过十余种测量两个短文本的语义相似性的方法，并使用一个新的标记为语义相似性的 14,000 句子数据集证明文献中使用的这些度量标准都不能够足够接近人的判断。虽然有一些最近提出的度量标准提供了具有可比性的结果，但 Word Mover Distance 被证明是目前测量改写文本的语义相似性的最合理的解决方案。

    Apr, 2020

  • NMT 衍生的语言中介嵌入的实证分析及其在平行语句识别中的应用

    该研究系统研究了端到端的神经机器翻译的上下文向量作为句子的交互语言表征的功效，并在可比较语料库中取得了较高的平行句子识别准确率。

    Apr, 2017

  • 能否更简单地做到这一点？自然语言生成的简单、高效、高质量评估指标

    本文探讨了自然语言生成的有效评估指标，以及通过使用轻量级版本的 Transformer 和线性、二次逼近算法来实现评估指标的高效计算，研究发现，TinyBERT 在语义相似性评估指标方面表现最佳，并且在平均推理时间上比原算法要快 5 倍，但 WMD 近似计算并没有带来效率提升，反而在部分机器翻译数据集上使得质量下降。

    Sep, 2022

  • 使用双向蕴涵的机器翻译评估

    本文提出了一种基于双向蕴含的机器翻译评估新指标，利用深度学习实现候选和参考翻译之间的语义相似度评分，应用于 WMT'14 和 WMT'17 数据集，与传统指标相比在系统级别上具有更好的与人工注释评分的相关性。

    Nov, 2019

  • 利用检索到的翻译片段指导神经机器翻译

    通过搜索引擎检索以前见过的语句，然后提取这些语句中与源语句匹配的 $n$-grams 以实现将历史翻译例子加入到神经机器翻译模型中，因此提高翻译效果。

    Apr, 2018

  • 内部故事：迈向更好理解机器翻译神经评估指标

    本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

    May, 2023

  • 利用神经机器翻译嵌入词汇相似度

    该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

    Dec, 2014