多样化机器翻译的混合模型：实用技巧

ICMLFeb, 2019

Mixture Models for Diverse Machine Translation: Tricks of the Trade

Tianxiao Shen, Myle Ott, Michael Auli, Marc'Aurelio Ranzato

TL;DR本文研究了通过 EM 训练的混合模型在文本生成方面的应用，通过设计参数、优化模型选择和评估协议，提出了一些更为鲁棒的混合模型，相比于变分模型和多样的解码方法在翻译质量和多样性之间提供了更好的平衡点。

Abstract

mixture models trained via em are among the simplest, most widely used and well understood latent variable models in the machine learning

发现论文，激发创造

本文提出了一种新方法，MixDiversity，用于实现多样化机器翻译，通过利用混合训练引入的句子潜在空间中的线性关系，在解码时通过与训练语料库中不同的句子对进行线性插值，生成输入句子的不同翻译，并通过选择具有多样性的训练语料库句子对和相应调整每对的插值权重来进一步改善翻译的准确性和多样性。

Sep, 2021

利用条件生成模型和低维潜在向量，通过鼓励输出和潜在编码间的双射一致性的方法解决图像转换中一对多的映射问题，并产生更丰富多样的结果。

Nov, 2017

提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

Jul, 2021

使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

Mar, 2022

本研究提出一种多模态神经机器翻译模型，通过潜在变量模型来建模视觉和文本特征之间的交互，预测图像特征和提高翻译性能，可以在训练阶段利用视觉和文本输入，而在测试阶段不需要图像输入，通过预测图像特征等优化，同时利用合成数据等附加训练方式进一步提高翻译性能。

Nov, 2018

该研究提出了一种新方法 MixPoet，它通过半监督变分自编码器，将潜空间分解成多个子空间，并对每个子空间进行不同的因素训练，从而生成不同的诗歌风格以提高生成诗歌的多样性和质量，该方法在中国诗歌上的实验结果表明其相对于现有的三种最先进的模型具有更高的多样性和质量。

Mar, 2020

研究开发了一种新的序列混合模型，通过采用一组专业翻译模型而非单个模型来提高翻译的多样性和质量，并在四种语言对上进行了实验。

Oct, 2018

本篇论文研究自然语言生成中存在的曝光偏差问题，指出了评估基准的不足之处，并证明在整个质量和多样性空间中，最大似然估计（Maximum-Likelihood）模型在质量和多样性方面表现优于对抗性变体，且温度调整提供了更好的质量 / 多样性权衡。

Nov, 2018

本文提出了一种有效方法来估计高维的混合模型的参数以及应对 EM 算法的失败问题，该方法基于矩估计法来进行无监督学习从而实现了之前未能达到的混合模型严格的无监督学习结果。

Mar, 2012

本研究介绍了基于依赖关系的混合语言模型，利用神经网络训练学习未来依赖令牌的概率分布，并将其与自注意力机制混合，从而提高了神经文本生成的效果。

Mar, 2022