本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉,以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明,搜索功能表现出色,但模型往往在假设空间中分散了太多的概率质量。此外,我们还提出了评估模型校准的工具,并展示了如何轻松解决当前模型的一些缺陷。
Feb, 2018
本篇论文研究了 NMT 系统在源语句中进行多次更改时的表现,并提出了基于软性关注力技术的单词替换方法,对英德和英法两种语言对进行实验,结果表明现有技术无法捕捉源语言的语义,提出的软性关注力技术是一种不变性基攻击,可通过备选指标更好地评估这种攻击。
Aug, 2019
本文研究了基于字符的神经机器翻译模型,并发现它们能够解决词表外的问题、学习词形变化,但是在面对嘈杂的数据时容易出现错误。作者探究了两个方法来提高模型的鲁棒性:结构不变的词表示和在噪声数据上强化训练。作者发现一个基于字符卷积神经网络的模型能够同时学习多种噪声下的鲁棒表示。
Nov, 2017
人工翻译人员的阅读和翻译速度能够被神经机器翻译(NMT)模型的意外性和注意力特征解释,意外性是翻译困难度最成功的预测因素之一。
Dec, 2023
本研究通过概率检索和方差 - 偏差分解原理,重新思考了翻译记忆增强神经机器翻译(TM-augmented NMT)。研究发现,TM-augmented NMT 能够很好地拟合数据,但对训练数据的波动更为敏感,为同一翻译任务上最近报告的矛盾现象提供了解释。本文提出了一种简单而有效的 TM-augmented NMT 模型,以促进方差和解决矛盾现象。广泛的实验表明,在两种低方差(低资源和即插即用)方案以及高资源情景下,所提出的 TM-augmented NMT 均实现了相对于传统 NMT 和现有 TM-augmented NMT 的一致的收益。
Jun, 2023
本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法,通过对测试句子进行微调以适应具体场景,从而显着提高翻译性能。该方法特别适用于高度相似的句子。
Sep, 2016
无监督神经机器翻译(UNMT)关注于提高无人翻译平行数据的 NMT 结果,但在突出其优势与分析除翻译准确性以外的输出方面,迄今为止还做得很少。我们聚焦于三种非常不同的语言,法语、古吉拉特语和哈萨克语,并使用不同程度的监督来训练双语 NMT 模型,并在高和低资源环境中,测量 NMT 输出的质量,并将生成的序列的词序和语义相似性与源语句和参考句子进行比较。我们还使用分层相关传播来评估源语句和目标语句对结果的贡献,并扩展了先前作品对 UNMT 范式的发现。
本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性,通过使编码器和解码器在输入和其扰动版本的情况下行为相似,进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明,该方法不仅可以显著提高强 NMT 系统的翻译品质,而且可以增强 NMT 模型的鲁棒性。
May, 2018
通过引入自然非语义变化(NAV)概念并利用人工生成的变化对机器翻译进行微调,可提高机器翻译在困难输入(如噪声数据和边缘词语)下的性能,还发现 NAV 的鲁棒性可以跨语言进行转移,但合成扰动无法实现所有有机 NAV 数据的优点。
May, 2022
通过对多语种机器翻译模型和大型语言模型在噪声输入情境下的实验研究,我们发现这些模型相比以往模型对各种噪声更加稳健,尤其是在处理干净数据情况下表现相似的情况下。我们还展示了这种趋势在社交媒体翻译实验中同样存在,同时分析了源文本校正技术在减轻噪声影响方面的应用情况。综上所述,我们展示了对于多种类型噪声的稳健性有所增强。
Mar, 2024