Mar, 2024

上下文对聊天翻译评估是否有帮助？

PDF
TL;DR通过对自动度量、机器翻译聊天等领域进行元评估，我们发现引用自由度量相较于引用依赖度量滞后，尤其在评估英文以外的翻译质量时。我们研究了如何将对话上下文信息融入度量中，并发现将上下文信息与神经学习度量相结合有助于提高自由度量在无参考情景下与人类判断的相关性，以及在评估英文以外的翻译时的性能。最后，我们提出了一种新的评估度量方法 Context-MQM，并验证了添加上下文即使对基于大型语言模型（LLM）的评估度量也是有帮助的。
automatic metricsmachine-translated chatscontextual informationtranslation qualityevaluation metric
发现论文，激发创造
  • 上下文感知机器翻译中的上下文使用度测量与增加

    本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

    May, 2021

  • 测量文档级机器翻译系统中的语境利用

    文件级别的翻译模型通常使用一般性指标（如 BLEU）进行评估，而这些指标对于上下文的益处并不具有信息量。我们的研究提出了补充基于准确性评估的上下文利用度量的方法，并且通过扰动分析发现这是一种有效的全局上下文利用度量。此外，我们还提出了一种细粒度的现象特定评估方法，用于衡量对处理上下文相关的话语现象的支持上下文的贡献。我们的研究结果表明自动注释的支持上下文与人工注释的上下文给出了类似的结论，并可以作为人工注释不可用的情况下的替代方法。最后，我们强调了在评估上下文利用度时使用话语丰富的数据集的重要性。

    Feb, 2024

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 专家、误差与上下文：人工评估机器翻译的大规模研究

    研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

    Apr, 2021

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 使用语境化的嵌入向开放领域对话系统提供更好的自动评估

    本文探讨使用语境化词向量来计算更为准确的相关性评分，从而得出更好的评估指标，相较于仅训练静态嵌入的 RUBER 指标，新的指标表现更佳。

    Apr, 2019

  • 面向英日商务场景对话的上下文感知神经机器翻译

    通过研究上下文感知如何改善当前神经机器翻译模型在英日商务对话翻译中的表现，并探索哪种上下文对于提升翻译质量提供有意义的信息，本文使用事先训练的 mBART 模型在多句对话数据上进行微调，研究了更大上下文范围的影响，并提出了编码额外片段信息（如发言人和场景类型）的新型上下文标记，实验结果发现模型利用前几个句子和额外片段的上下文（随着上下文范围的增加，CXMI 也在增加）以及对敬语翻译进行了更专注的分析，而在翻译质量方面，与以往的工作和无上下文的基线比较，增加源语言上下文信息和场景、发言人信息有助于提高模型性能（使用 BLEU 和 COMET 指标进行衡量）。

    Nov, 2023

  • 通过相关语境来减轻神经机器翻译模型中的性别偏见：翻译系统对额外上下文的敏感度如何？

    本文探讨了如何通过翻译相关的背景句子，指导神经机器翻译系统上下文修正性别偏见后，显著提高其翻译性能；同时提出一种新的度量标准来评估大型预训练模型在使用上下文进行翻译时修正偏见的敏感度。

    May, 2022

  • 背景对任务导向的对话系统中的众包评估标签的影响

    使用大型语言模型对对话上下文进行摘要，以提供丰富而简短的对话上下文描述，并研究其对标注人员性能的影响。通过减少上下文提供来获得更积极的评分，而提供完整的对话上下文则能够获得更高质量的相关性评分，但会引入有用性评分的歧义。使用第一个用户话语作为上下文能够获得一致的评分，减少标注工作量。研究结果展示了任务设计，特别是对话上下文的可用性如何影响众包评估标签的质量和一致性。

    Apr, 2024

  • 专业字幕场景下的上下文机器翻译案例研究

    将影片元数据等额外文本上下文引入机器翻译（MT）流程可以提高翻译质量，通过最近的自动评估可得知，但这类系统在工业领域的积极影响尚未得到证实。我们报告了一项工业案例研究，旨在调查 MT 在专业电视字幕翻译场景中的受益和如何利用额外文本上下文影响后期编辑。我们发现，在修正具有上下文感知模型 MTCue 输出时，与非上下文模型相比，后期编辑人员标记了更少与上下文相关的错误。我们还介绍了一项针对从业后期编辑人员的调查结果，该调查强调了 MT 中持续存在的上下文不足问题。我们的发现加强了在完全上下文化的 MT 领域开展进一步工作的动力。

    Jun, 2024