神经机器翻译的不确定性感知语义增强
本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉,以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明,搜索功能表现出色,但模型往往在假设空间中分散了太多的概率质量。此外,我们还提出了评估模型校准的工具,并展示了如何轻松解决当前模型的一些缺陷。
Feb, 2018
使用等效于Transformer模型的贝叶斯深度学习方法检测神经机器翻译中的训练数据分布外句子。我们使用长序列离散随机变量的新不确定性衡量法解决了现有方法在长句子上不适用的问题,并在使用dropout的Transformer模型上执行德语-英语翻译任务,证明我们的方法能够当Dutch源句子输入时区分其与德语句子。
Jun, 2020
本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法,并结合蒙特卡罗dropout和深度集成等两种不确定度估计方法,得出质量分数以及置信区间。通过对来自QT21数据集和WMT20度量任务的多语种数据进行实验,验证了该方法的性能,进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。
Sep, 2021
通过测量自然语言处理中 intristic uncertainty 的程度,我们发现它会对搜索过程的归纳偏差和精确搜索的复杂度等方面产生重大影响,并提出了一种新的精确搜索算法用于神经序列模型,发现intristic uncertainty 会影响模型的不确定性,从而导致概率质量过度分散。
Apr, 2022
该论文提出了一种新的数据增强模型Continuous Semantic Augmentation (CsaNMT), 该模型可以使神经机器翻译模型在低资源环境中表现出更好的泛化性能和更高的翻译质量。通过丰富训练数据,提高了机器翻译的性能,并在多个语言翻译任务中取得了大幅度的提升。
Apr, 2022
该篇论文从不确定性的角度出发,提出两种轻量级的方法解决零-shot翻译的偏差问题,并在平衡和不平衡数据集上进行实验,证实这些方法显著提高了在强 MNMT 基线上的零-shot翻译的性能,并提供了定量分析的见解。
May, 2022
本文介绍了一种新的神经机器翻译数据增强方法,可以在语言内外强制实现更强的语义一致性。结果表明,条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术,并集成了软词替换的思想,以增强数据多样性,加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果,展示了更真实的数据增强和更好的翻译质量,相对于强和最新的工作,我们的方法一致实现了最佳性能,并相对于基线改进了高达1.90 BLEU分数。
Sep, 2022