ACLFeb, 2023

评估和改进机器翻译模型的指代消解能力

PDF
TL;DR本文评估了机器翻译 (MT) 模型从隐含信号中学习共指消解的能力，并探究了如何将共指消解模型的输出整合到 MT 模型中以提高翻译质量。研究结果表明，单语共指消解模型的性能远远优于 MT 模型。
machine translationcoreference resolutionevaluationbilingual corporatarget language
发现论文，激发创造
  • 上下文感知的机器翻译与源语言共指解释

    通过预测输入中的核指代特征，我们提出了一种可以解释翻译决策的模型，通过利用输入和翻译输出表示中的上下文特征，以提高英语 - 德语数据集、英语 - 俄语数据集和多语言 TED 演讲数据集上的文档级翻译任务 BLEU 分数超过 1.0 的效果。

    Apr, 2024

  • 跨语种分类中机器翻译的再次研究

    使用更强的机器翻译系统并减少原始文本训练和机器翻译文本推理之间的不匹配，翻译 - 测试可以比之前假定的效果更好，从而对跨语言分类的多语言模型的支配提出了质疑，并促使更多关注基于机器翻译的基准线。

    May, 2023

  • 跨语言编码器的局限性：基于无参考机器翻译评估的揭示

    研究跨语言编码器在自然对抗机器翻译系统中的参照无机器翻译评估问题，找到该方法的两个关键限制并提出两种部分解决方案。

    May, 2020

  • 低资源南亚语言中的多语言共指消解

    通过使用现成的翻译和词对齐工具，我们引入了一个包含 31 种南亚语言的多语种共指解析翻译数据集（TransMuCoRes）。两个现成的共指解析模型使用 TransMuCoRes 与一份具有手工注释的印地语共指解析数据集的连接进行训练，最佳模型在印地语黄金集上的 LEA F1 得分和 CoNLL F1 得分分别为 64 和 68。此研究是首次在印地语黄金集上评估了一个端到端共指解析模型，并强调了当前共指评估指标在存在拆分先行词的数据集上的局限性，倡导开发更合适的评估指标。

    Feb, 2024

  • 双语专家” 能够找出翻译错误

    提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

    Jul, 2018

  • 集成迁移学习用于多语言指代消解

    本研究提出了一种基于集成方法和迁移学习的框架以及一种低成本的迁移学习方法，用于解决非英语语言的实体共指消解问题，并在 Arabic，Dutch 和 Spanish 三种语言上取得了新的最先进结果。

    Jan, 2023

  • 评估最佳参考翻译

    使用 “最佳参考翻译” 文档级可靠翻译的方法，我们提出了一种针对高资源环境中翻译质量的方法，并发现了评估与翻译编辑之间的关系。

    Nov, 2023

  • 多语言指代消解共享任务的发现

    本文概述了 CRAC 2022 研讨会上多语种共指消解任务的概况，采用公共数据集 CorefUD 1.0 为训练和评估数据，使用 CoNLL 得分作为主要评估指标，并比较了多个系统和竞争基线系统，获胜者系统的表现优于竞争基线 12 个百分点。

    Sep, 2022

  • 机器翻译无参考同行评估评估

    通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

    Apr, 2021

  • MT-Ranker: 无参考系统间排序的机器翻译评估

    机器翻译评估已被传统上视为回归问题，但这种方法存在两个限制：缺乏可解释性且人工评注者难以给出一致的分数；在真实的场景中，大多数评分方法基于（参考翻译）对，限制了它们的适用性。本研究提出一种新的评估方法，将无参考机器翻译评估转化为配对排序问题，并通过使用自然语言推理的间接监督和合成数据的弱监督来展示其与人类判断的卓越相关性。MT-Ranker 在无人工注释的情况下，在 DARR20、MQM20、MQM21 等 WMT Shared Metrics Task 基准测试上取得了最先进的结果，在包含细粒度评估标准的更有挑战的基准测试 ACES 上，MT-Ranker 在无参考和参考基准线上表现出最先进的水平。

    Jan, 2024