非对抗式无监督单词翻译
本论文提出了一种基于概念的弱监督对抗训练方法,通过将单词映射到连续向量的分布表示法,实现不需要大量平行数据(如字典或句子对齐语料库)的语言间互译,并针对语言间距离大的情况,在大多数语言上改善了以前无监督的对抗方法的性能。
Apr, 2019
提出一种对抗学习的对比法用于无监督 log-linear 模型的词对齐任务,通过使用 top-n 对齐来近似计算非局部特征的期望值,实现了高效准确的无监督词对齐,并在实验中取得了显著的改进。
Oct, 2014
该研究提出了两种新的扩展方法来增强自动编码器的对抗训练,包括环路一致性和输入重建的正则化项,并将目标编码器放置在相应鉴别器的对手位置。结果表明,该方法在欧洲和非欧洲低资源语言中均比最近提出的对抗性和非对抗性方法更加稳健且性能更好。
Apr, 2019
本文研究一种新的神经机器翻译学习范式,即采用对抗训练模型进行最小化差异的方式来指导模型学习,此模型被命名为 Adversarial-NMT。实验结果表明,Adversarial-NMT 性能显著高于强基线模型,并能够实现更高质量的翻译。
Apr, 2017
该研究介绍了一种新的模型对齐技术,旨在改善给定源模型生成可转移对抗干扰的能力。通过减小对齐损失来微调源模型的参数,该损失量化了源模型和另一个独立训练的模型(称为观察模型)之间的预测差异。在 ImageNet 数据集上进行的实验表明,与原始源模型相比,从对齐源模型生成的干扰具有明显更高的可转移性。
Nov, 2023
该论文挑战了生成对抗网络(GAN)如何对独立的英语单词嵌入进行完美对齐,并探究了不同嵌入算法之间为什么会出现对齐失败的情况。作者认为这对于理解现代单词嵌入算法及 GAN 的局限性和不稳定性动态至关重要,并且该发现可能是与嵌入算法的归纳偏差有关,导致了一个局部最优解的优化领域,使得收敛区域很小。
Sep, 2018
本研究提出了一种全新的方法,在没有平行数据的情况下,只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术, 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数,且能够利用少量的平行数据来提高翻译质量。
Oct, 2017
本文旨在提出一种新的基于正交矩阵和置换矩阵联合估计的点集对齐算法,并应用在自然语言处理和计算机视觉领域的单语数据的无监督单词翻译问题中,实现了比竞争对手更先进效果却需要更少的计算资源
May, 2018