ICLRFeb, 2017

离线双语词向量，正交变换与倒置的 softmax

PDF
TL;DR本论文证明两个空间之间的线性转换应该是正交的，在此基础上提出了一种新型的反向 softmax 算法来确定翻译对，并使用此方法使得英语单词从 34% 的准确度提升到 43%，在无需专家双语信号的情况下达到 40%。最终，我们将这个方法扩展到从 200k 个意大利语句子语料库中检索英语句子的真实翻译，准确度达到 68%。
bilingual word vectorslinear transformationinverted softmaxorthogonal transformationspseudo-dictionary
发现论文，激发创造
  • 通过中间相遇提升跨语言词嵌入

    本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

    Aug, 2018

  • 无监督的跨语言词向量空间转移

    本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

    Sep, 2018

  • 将普克鲁斯特分析泛化以提升双语词典感知能力

    本文提出了一种新方法，即通过将两种语言映射到一个潜在的第三个空间中，而不是直接对其进行线性对齐，从而更容易地学习到近似的对齐，在低资源情况下可以通过支持语言进一步提高性能的双语词典归纳方法。

    Aug, 2018

  • 分布式词嵌入的无监督对齐

    本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

    Mar, 2022

  • 多语言词嵌入的无监督超级对齐

    本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

    Nov, 2018

  • 使用潜在语义索引实现双语文档对齐

    本文研究了如何在双语文档对齐任务中应用交叉语言传递矩阵，提取出文档的重要特征，通过将两种余弦相似度变量与 URL 相似度量的结合，可以达到高精度的 Web 页面对齐。

    Jul, 2017

  • 上下文感知的跨语言映射

    本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

    Mar, 2019

  • 通过可逆投影的无监督适应实现跨语言句法转移

    本文提出了一种生成模型，通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决在距离较远的语言之间跨语言迁移的问题，并使用可逆投影来学习一种新的公共嵌入空间，以对不完美的跨语言词嵌入输入进行补偿。该方法在使用英语作为唯一源语料库并传输到广泛的目标语言的通用依赖树库上进行评估，在与英语相距较远的该数据集中的 10 种语言中，我们的方法相较于使用最先进的判别模型的直接转移方法，在词性标注和依赖分析方面分别获得了平均 5.2％和 8.3％的绝对改善。

    Jun, 2019

  • 利用单语嵌入中的结构相似性进行非监督式词汇对应

    本文提出了一种无监督的方法来学习一对语言的双语词典，并利用单语向量空间中的局部和全局结构将它们对齐，从而使相似的单词映射到一起，实验表明，使用提出的无监督方法学习的双语对应词性能与使用监督学习的双语对应词从种子词典中学习的相当。

    Dec, 2017

  • 双语词嵌入密度匹配

    该研究提出了一种新的基于高斯混合模型和标准化流的跨语言词嵌入方法，通过学习两种单语嵌入空间的概率密度，实现跨语言词嵌入。实验结果表明该方法在具有不同语言结构、复杂形态和遥远语系的词性能够实现有效的性能提升。

    Apr, 2019