EMNLPOct, 2021

WeTS: 一个翻译建议的基准测试

PDF
TL;DRWe created a benchmark data set called WeTS, which includes human-annotated golden corpus and synthetic corpus to improve the performance of Translation Suggestion (TS) for post editing after machine translation (MT). Our Transformer-based model achieves State-Of-The-Art (SOTA) results on four translation directions: English-to-German, German-to-English, Chinese-to-English and English-to-Chinese.
translation suggestionpost editingbenchmark data settransformer-based modelmachine translation
发现论文，激发创造
  • 改进的翻译建议数据增强

    介绍了我们在 WMT'22 翻译建议共享任务中提交的系统，该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。

    Oct, 2022

  • WMT 2022 翻译建议共享任务发现

    WMT 共享任务中，我们获得了 92 个参与队伍提交的数据，使用 BLEU 自动评估指标对机器翻译中的翻译建议进行了评估，并提供了英德和英汉语料库来进行两个子任务的翻译建议。

    Nov, 2022

  • TSMind：阿里巴巴与 苏州大学 WMT22 翻译建议任务的提交

    该研究使用下游任务上的模型典范微调的方式，以最近取得巨大成功的巨型规模预训练模型为基础，并采用数据增强技术和条件交叉熵模型以提高机器翻译的性能，最终在 WMT22 中 Naive TS 任务的四个语言方向中的三个中排名第一。

    Nov, 2022

  • TeCS：机器翻译时态一致性的数据集和基准

    本研究介绍了一种包含 552 个法语 - 英语表述的平行时态测试集，以及相应的时态预测准确度基准，研究者可以通过测试集和基准第一次测量机器翻译系统的时态一致性表现。

    May, 2023

  • WiC-TSV: 上下文中目标义项验证任务的评估基准

    介绍了 WiC-TSV—— 一个新的多领域评估基准，用于词义消歧的目标语义检验框架。利用最新的语言模型在数据集上设置基线性能，并且实验结果表明即使这些模型可以在任务上表现得相当不错，但是在跨领域设置中机器和人类性能之间仍然存在差距。

    Apr, 2020

  • YiTrans IWSLT 2022 离线共享任务端到端语音翻译系统

    本文介绍本团队使用 YiTrans 语音翻译系统参加 IWSLT 2022 离线任务，该系统基于大规模预训练编码器 - 解码器模型，并通过多阶段预训练策略、精细调节、数据过滤、数据增强、语音分割和多模型融合等多方面开展改进，结果显示我们的 YiTrans 系统在英德、英中和英日三个方向上的性能优于去年的最优端到端系统，并在英德和英中方向上名列自动评估度量的第一。

    Jun, 2022

  • 文本简化系统的无参考质量评估

    本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。

    Jan, 2019

  • TSST：文本语音风格转换的基准和评估模型

    本文介绍了 TSST 任务，它是一个新的样式转移 benchmark，强调人类导向的评估，探索和提升当前 LLMs 的性能。

    Nov, 2023

  • BJTU-WeChat 的 WMT22 聊天翻译任务系统

    这篇论文介绍了北京交通大学和微信 AI 针对英德翻译任务提交 WMT'22 的联合研究，使用 Transformer 及其多种变体，并利用预训练和微调范式来提高翻译效果，并采用 speaker-aware 等效果，最终通过 boosted self-COMET-based 模型的 ensemble 获得了最高的 COMET 分数。

    Nov, 2022

  • 具有篇章标注的双语平行语料库

    这篇论文描述了 BWB 这个由专家将汉语小说翻译成英文的大型平行语料库，以及一个用于探究机器翻译系统建模各种语篇现象的标注测试集，希望这个资源能够为更多的文档级机器翻译工作提供指导和灵感。

    Oct, 2022