检测非分布式翻译的变分转换器

Jun, 2020

Wat zei je? Detecting Out-of-Distribution Translations with Variational Transformers

Tim Z. Xiao, Aidan N. Gomez, Yarin Gal

TL;DR使用等效于Transformer模型的贝叶斯深度学习方法检测神经机器翻译中的训练数据分布外句子。我们使用长序列离散随机变量的新不确定性衡量法解决了现有方法在长句子上不适用的问题，并在使用dropout的Transformer模型上执行德语-英语翻译任务，证明我们的方法能够当Dutch源句子输入时区分其与德语句子。

Abstract

We detect out-of-training-distribution sentences in Neural Machine Translation using the bayesian deep learning equivalent of transformer models. For this we develop a new measure of →