训练，分类，解释：学习诊断翻译模型

ACLMar, 2019

训练，分类，解释：学习诊断翻译模型

Train, Sort, Explain: Learning to Diagnose Translation Models

Robert Schwarzenberg, David Harbecke, Vivien Macketanz, Eleftherios Avramidis, Sebastian Möller

TL;DR本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

Abstract

Evaluating translation models is a trade-off between effort and detail. On the one end of the spectrum there are automatic count-based methods such as BLEU, on the other end linguistic evaluations by humans, which arguably are more informative but also require a disproportionately high

translation models automated evaluation natural language processing neural text classifier human-machine differences

发现论文，激发创造

内部故事：迈向更好理解机器翻译神经评估指标

本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

May, 2023

跨语言情况下自然语言翻译和神经网络翻译的自动区分

研究人员利用多语言数据和预训练的语言模型，成功开发出一种分类器，能够自动区分不同源语言翻译的人工翻译和机器翻译，发现使用少量数据训练的分类器的推广能力更好。

May, 2023

双语专家” 能够找出翻译错误

提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

Jul, 2018

对比短语突出解释：辅助人类发现翻译差异的案例研究

基于对比方式生成强调对预测结果解释的相似指标，该技术比流行的事后重要性技术更好地匹配了人类的跨语义差异解释，并成功地帮助人们检测到人工翻译和机器翻译错误的细微语义差异。

Dec, 2023

文档级神经机器翻译：方法与评估调查

这篇综述论文旨在总结文档级机器翻译的最新研究进展，重点讨论了神经网络模型、训练策略、评估指标等方面的创新，为该领域的研究者提供状态认知和未来方向。

Dec, 2019

机器之间的机器翻译：情感分类应用案例

提出了一种神经机器翻译的方法，利用一种新的候选采样策略，基于强化学习技术提高翻译模型的机器导向性，从而产生最适合用作特定下游任务的自然语言处理组件输入的翻译结果，这种方法可以显著提高英文分类器对 Twitter 数据的情感分类的性能。

Oct, 2019

BLEU 的黑箱：重新评估自动机器翻译评估指标

研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

Jun, 2020

神经网络与基于短语的机器翻译的细粒度人类评估

本研究通过错误标注的方法比较了三种统计机器翻译方法（基于短语、因式分解基于短语和神经网络），结果显示最佳性能的神经网络系统比最差性能的基于短语系统减少了 54% 的错误，而错误类型符合多维质量度量标准（MQM）。

Jun, 2017

在线学习与机器翻译评估：以最少的人力努力找到最佳系统

基于在线学习的机器翻译自动化指标优化方法，通过对多个语言对进行评估，快速收敛于表现最佳的前三个系统。

May, 2021

跨语种分类中机器翻译的再次研究

使用更强的机器翻译系统并减少原始文本训练和机器翻译文本推理之间的不匹配，翻译 - 测试可以比之前假定的效果更好，从而对跨语言分类的多语言模型的支配提出了质疑，并促使更多关注基于机器翻译的基准线。

May, 2023