Dec, 2019

来自平行句子的稳健跨语言嵌入

PDF
TL;DR提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。
cross-lingual word embeddingsjoint learning methodsbilingual cbowcross-lingual sentence retrievalmonolingual word vectors improvement
发现论文，激发创造
  • 上下文感知的跨语言映射

    本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

    Mar, 2019

  • 无监督和半监督跨语言词嵌入学习的鲁棒性研究

    本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

    Aug, 2019

  • 无监督多语言句子嵌入用于平行语料挖掘

    本研究提出了一种新的无监督方法，通过使用单语数据来获得跨语言句子嵌入，产生了合成平行语料库，使用预训练的跨语言掩码语言模型（XLM）对其进行微调以得到多语言句子表示，并在两个平行语料库挖掘任务上评估了表示的质量，结果表明，这种方法可以比基准 XLM 模型获得高达 22 个 F1 点的改进。此外，我们还观察到，单个合成的双语语料库能够改善其他语言对的结果。

    May, 2021

  • 利用词对齐改进低资源语言的跨语言句子嵌入

    跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

    Apr, 2024

  • 句子嵌入的线性跨语言映射

    本文讨论了跨语言句子嵌入向量表示句子语义的方法，并提出了通过简单的线性跨语言映射以及正交性偏差条件的度量来改善多语言嵌入向量。

    May, 2023

  • 无需双语语料库的跨语言词嵌入学习

    使用高覆盖率的字典和 EM 式训练算法，该方法解决了以前的跨语言词嵌入方法中的资源需求大、难以融合单语言数据或难以处理多义词等问题，在双语词汇表归纳任务中实现了表现卓越的结果，并且在单语词汇相似度和跨语言文档分类任务上也取得了有竞争力的结果。

    Jun, 2016

  • 学习表示双语词典

    该研究提出了一种神经嵌入模型，利用双语词典将文字定义映射到双语目标词汇，探索不同的句子编码技术以及采用多任务学习和联合学习等关键学习策略来增强学习过程，实验结果表明，该模型在跨语言反向字典检索任务和双语释义识别问题上表现优异，并有效地解决了双语释义识别问题。

    Aug, 2018

  • 双语情感嵌入：跨语言情感的联合映射

    使用双语情感嵌入模型 BLSE，能够在资源贫乏的目标语言中精确的捕获情感信息，从而在跨语言情感分类任务中实现优于现有方法的性能提升。

    May, 2018

  • 无监督的跨语言词向量空间转移

    本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

    Sep, 2018

  • 分析跨语言词嵌入映射的限制

    本研究探讨了跨语言词嵌入的离线和联合学习方法，并发现在并行语料库下，联合学习可以更准确地解决不同语言间的相似性问题，尤其在双语词典诱导方面表现更优。因此，建议在跨语言嵌入研究中加强联合学习的研究。

    Jun, 2019