Aug, 2019

无监督和半监督跨语言词嵌入学习的鲁棒性研究

PDF
TL;DR本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。
cross-lingual word embeddingsalignmentevaluationsupervisionlinguistic differences
发现论文，激发创造
  • 无监督的跨语言词向量空间转移

    本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

    Sep, 2018

  • 跨语言单词嵌入模型的实证比较

    通过系统比较四种不同的方法，本研究对于在四个不同语言对上诱导跨语言词向量的方法进行了评估，包括内在评估和外在评估，并展示在某些任务上，廉价监督模型的性能是有竞争力的。

    Apr, 2016

  • 跨语言词嵌入模型调查

    本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

    Jun, 2017

  • 一种强大的自学习方法：全无监督跨语言词嵌入映射

    本文提出了一种新的无监督初始化和稳健的自学习算法来学习跨语言词嵌入，成功地克服了传统方法在更实际的语境下所面临的困难，并在标准数据集上取得了最佳效果，甚至超过了以往的监督式系统。

    May, 2018

  • 无需双语语料库的跨语言词嵌入学习

    使用高覆盖率的字典和 EM 式训练算法，该方法解决了以前的跨语言词嵌入方法中的资源需求大、难以融合单语言数据或难以处理多义词等问题，在双语词汇表归纳任务中实现了表现卓越的结果，并且在单语词汇相似度和跨语言文档分类任务上也取得了有竞争力的结果。

    Jun, 2016

  • 来自平行句子的稳健跨语言嵌入

    提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

    Dec, 2019

  • 多语言词嵌入的无监督超级对齐

    本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

    Nov, 2018

  • 我们是否真的需要完全无监督跨语言嵌入？

    本论文研究无监督的跨语言词向量嵌入方法，发现这些方法在需要将资源匮乏和远距离语言进行跨语言词向量嵌入时难以产生有意义的结果，表现不如弱监督的方法。作者呼吁重新审视无监督 CLWE 方法的主要动机。

    Sep, 2019

  • 一种强大的自学习方法，用于完全无监督的跨语言单词嵌入映射：同时使该方法具有强大的可重现性

    本文重现了 Artetxe 等人（2018b）的实验，探讨了全无监督交叉语言词向量映射的鲁棒自学习方法，并通过引入 4 种与原始文献所提出的语言不太相似的语言，进一步研究了其模型的可靠性。通过对合理超参数的网格搜索，评估了其模型的稳定性，并提出了对实现完全可重复性研究的重要建议。

    Dec, 2019

  • 通过中间相遇提升跨语言词嵌入

    本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

    Aug, 2018