EMNLPSep, 2018

为何不同算法的英文嵌入无监督对齐如此困难？

PDF
TL;DR该论文挑战了生成对抗网络（GAN）如何对独立的英语单词嵌入进行完美对齐，并探究了不同嵌入算法之间为什么会出现对齐失败的情况。作者认为这对于理解现代单词嵌入算法及 GAN 的局限性和不稳定性动态至关重要，并且该发现可能是与嵌入算法的归纳偏差有关，导致了一个局部最优解的优化领域，使得收敛区域很小。
发现论文，激发创造
  • 多重对抗学习用于跨语言单词嵌入

    提出了一种基于多对抗学习的新方法，用于在远程语言之间诱导跨语言词嵌入，改善了以往单映射方法的性能，特别是对于远程语言的情况

    Oct, 2020

  • 非对抗式无监督单词翻译

    本文介绍了一种基于迭代匹配方法的无监督单词翻译方法，该方法在欧洲和非欧洲语言单词翻译任务中表现优于最新的深度对抗方法，并且具有可解释性。

    Jan, 2018

  • 使用 Wasserstein Procrustes 实现无监督嵌入对齐

    本文旨在提出一种新的基于正交矩阵和置换矩阵联合估计的点集对齐算法，并应用在自然语言处理和计算机视觉领域的单语数据的无监督单词翻译问题中，实现了比竞争对手更先进效果却需要更少的计算资源

    May, 2018

  • 分布式词嵌入的无监督对齐

    本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

    Mar, 2022

  • 使用生成对抗网络生成无监督文本嵌入空间以进行文本合成

    本文提出了一种名为 TESGAN 的框架，使用连续文本嵌入空间而非离散标记以解决梯度反向传播的问题，通过无监督学习来克服数据记忆问题，从而能够合成具有潜力的新句子。

    Jun, 2023

  • 多语言词嵌入的无监督超级对齐

    本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

    Nov, 2018

  • GAN 是否平等？ 大规模研究

    这篇论文通过对多个 GAN 算法的大规模实验研究得出，大多数模型在经过足够的超参数优化和随机重启后可以达到类似的分数，建议未来的 GAN 研究应该基于更系统和客观的评估程序，同时提出了一些可用于计算精度和召回率的数据集。

    Nov, 2017

  • 生成对抗网络的 “可操控性

    该论文研究了生成模型的视觉泛移能力，发现虽然目前的生成对抗网络（GAN）可以很好地拟合标准数据集，但它们仍然没有成为视觉流形的全面模型。同时，研究者还发现这些模型反映了训练数据集的偏差，并提出了一些缓解问题的技术。

    Jul, 2019

  • EL-GAN: 以嵌入损失为驱动的生成对抗网络用于车道检测

    本文提出了一种名为 EL-GAN 的基于生成对抗网络的语义分割框架，通过嵌入损失降低了后处理的复杂度和提高了训练稳定性，应用于 TuSimple 车道线数据集上，效果优于传统方法并达到 96% 以上的准确率。

    Jun, 2018

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018