Feb, 2024

测量文档级机器翻译系统中的语境利用

PDF
TL;DR文件级别的翻译模型通常使用一般性指标（如 BLEU）进行评估，而这些指标对于上下文的益处并不具有信息量。我们的研究提出了补充基于准确性评估的上下文利用度量的方法，并且通过扰动分析发现这是一种有效的全局上下文利用度量。此外，我们还提出了一种细粒度的现象特定评估方法，用于衡量对处理上下文相关的话语现象的支持上下文的贡献。我们的研究结果表明自动注释的支持上下文与人工注释的上下文给出了类似的结论，并可以作为人工注释不可用的情况下的替代方法。最后，我们强调了在评估上下文利用度时使用话语丰富的数据集的重要性。
document-level translation modelscontext-aware evaluationcontext utilizationperturbation-based analysisdiscourse-rich datasets
发现论文，激发创造
  • 上下文感知机器翻译中的上下文使用度测量与增加

    本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

    May, 2021

  • 上下文对聊天翻译评估是否有帮助？

    通过对自动度量、机器翻译聊天等领域进行元评估，我们发现引用自由度量相较于引用依赖度量滞后，尤其在评估英文以外的翻译质量时。我们研究了如何将对话上下文信息融入度量中，并发现将上下文信息与神经学习度量相结合有助于提高自由度量在无参考情景下与人类判断的相关性，以及在评估英文以外的翻译时的性能。最后，我们提出了一种新的评估度量方法 Context-MQM，并验证了添加上下文即使对基于大型语言模型（LLM）的评估度量也是有帮助的。

    Mar, 2024

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 关于机器翻译结果的大规模文档层面人工评估用户界面

    研究发现，针对机器翻译的人工评估需要考虑文本上下文，然而用户界面对于标注者的生产力和评估可靠性的影响却鲜有研究。本文通过比较两种不同方法获得的人工评估数据，证明了一个以文档为中心的评估方法可以提高数据的质量，但却需要更多的时间投资。

    Apr, 2021

  • 量化神经机器翻译中上下文依赖性的可能性

    利用模型内部信息量化语言模型生成过程中上下文使用的合理性，并应用于上下文敏感的机器翻译模型，对比模型理由与人工标注，以识别并突显模型翻译中上下文相关的预测及其合理性。

    Oct, 2023

  • 上下文感知神经机器翻译中的挑战

    这篇论文探讨了上下文感知神经机器翻译的挑战与方法，并提出了一种更逼近真实情境的段落级翻译任务 para2para，同时提供了新的中英小说数据集以促进未来研究。

    May, 2023

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 机器翻译中逃离句子级范式

    本文提出了一种通过解决模型架构、训练数据和评估指标三个问题开展文本背景机器翻译的方案，并在 DE$ ightarrow$EN，EN$ ightarrow$DE，EN$ ightarrow$FR 和 EN$ ightarrow$RU 等语种的大数据实验中表明这三项改进措施能够显著提高文本背景翻译的性能。

    Apr, 2023

  • 神经机器翻译中充分利用上下文的探索

    通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

    Feb, 2020