EMNLPSep, 2019

我们是否真的需要完全无监督跨语言嵌入？

PDF
TL;DR本论文研究无监督的跨语言词向量嵌入方法，发现这些方法在需要将资源匮乏和远距离语言进行跨语言词向量嵌入时难以产生有意义的结果，表现不如弱监督的方法。作者呼吁重新审视无监督 CLWE 方法的主要动机。
cross-lingual word embeddingunsupervised learningbilingual lexicon inductionweakly supervised methodsclwe induction
发现论文，激发创造
  • 如何（正确地）评估跨语言词向量：关于强基线、比较分析及一些误解

    本文基于多语言词嵌入（CLE）并从多个方面对 CLW 模型进行了全面评估，提出了优化 CLE 模型的方法及对现有基线进行重新评估的重要性。

    Feb, 2019

  • 无监督和半监督跨语言词嵌入学习的鲁棒性研究

    本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

    Aug, 2019

  • 低资源语言的同构跨语言嵌入

    本论文提出了一种跨语言词嵌入学习框架，其综合利用相关高资源语言，以解决低资源语言跨语言表示学习中的几何结构相似度不足的问题，并通过双语词表感应和特征值相似性等多个语言对的实验验证，在新颖性和性能上均有所提升。

    Mar, 2022

  • 单语数据的无监督跨语言信息检索

    提出一个针对跨语言信息检索的全面无监督框架，通过基于单语语料库构建共享的跨语言词嵌入空间，利用来自对抗神经网络的迭代过程实现无需双语数据的检索，实验验证了该方法的有效性，并通过无监督集成 CLIR 模型提升性能。

    May, 2018

  • 无监督机器翻译数据增强改善跨语言词向量结构相似度

    提出了一种使用非监督机器翻译生成的伪平行语料库以优化跨语言词嵌入的无监督映射方法的新思路，改进了现有方法，并通过详细分析证明伪数据增强方法特别适用于基于映射的跨语言词嵌入任务。

    May, 2020

  • 无监督多语言词向量

    提出了一种全新的多语言词向量空间的无监督学习框架，该框架可以直接捕捉不同语言之间的交互关系，从而显著提高多语种单词转换和跨语种单词相似度的效果，并且比使用跨语种资源的监督式方法表现更好。

    Aug, 2018

  • 构建无监督双语词嵌入前别忘了使用低成本训练信号

    本文讨论了 Bilingual Word Embeddings（BWEs）的 build 方法，并提出了两种有效的 unsupervised 方法：使用相同的单词作为种子词典和使用 Romanized 单词匹配。实验结果表明这些方法在远程语言对上工作良好，并且与使用高质量词典的监督方法有竞争力。在构建 BWEs 时，这些训练信号不应被忽略，即使对于远程语言也是如此。

    May, 2022

  • 无监督的跨语言词向量空间转移

    本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

    Sep, 2018

  • 无监督机器翻译实现双语词库归纳

    本文提出一种新的方法，使用无监督机器翻译的方法生成合成平行语料库，进而提取双语词汇表。该方法可与任何词向量和跨语言映射技术一起使用，并且除了用于训练词向量的单语语料库外，不需要任何其他资源。在评估方面，与最近邻和 CSLS 技术相比，该方法在标准 MUSE 数据集上提高了 6 个准确度点，确立了新的最先进技术。

    Jul, 2019

  • 为什么过拟合并不总是不好：将跨语言词向量改装成词典

    该研究利用 CLWE 实现双语词典识别，提出引入修正策略来缓解因线性投影方法欠拟合训练字典而导致下游任务中推广性不足问题，并通过实验证明了该方法对训练字典的重要性及 BLI 评价不足的原因。

    May, 2020