ACLApr, 2021

通过 L1 范数优化进行跨语言词嵌入细化

PDF
TL;DR本文提出了一种基于曼哈顿距离的后处理方法来提高跨语言词向量的质量，并在十种不同的语言和语料库上进行了广泛的实验证明该方法可以提高词向量在双语词典归纳和自然语言推理任务中的性能。
cross-lingual word embeddingsmanhattan normbilingual lexicon inductionnatural language inferenceoptimization
发现论文，激发创造
  • 低资源语言的同构跨语言嵌入

    本论文提出了一种跨语言词嵌入学习框架，其综合利用相关高资源语言，以解决低资源语言跨语言表示学习中的几何结构相似度不足的问题，并通过双语词表感应和特征值相似性等多个语言对的实验验证，在新颖性和性能上均有所提升。

    Mar, 2022

  • 女孩是猫娘还是少女？迭代规范化法实现非同构嵌入的跨语言对齐

    通过迭代正则化方法，使得非同构语言 pairs 的单语词嵌入向量单位化和对齐，从而提高跨语言词嵌入的翻译准确度，特别是在英文 - 日文 pairs 中，测试准确性从 2% 提高到 44%。

    Jun, 2019

  • 多义词语境向量跨语言对齐

    本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。

    Mar, 2021

  • 无监督机器翻译数据增强改善跨语言词向量结构相似度

    提出了一种使用非监督机器翻译生成的伪平行语料库以优化跨语言词嵌入的无监督映射方法的新思路，改进了现有方法，并通过详细分析证明伪数据增强方法特别适用于基于映射的跨语言词嵌入任务。

    May, 2020

  • 我们是否真的需要完全无监督跨语言嵌入？

    本论文研究无监督的跨语言词向量嵌入方法，发现这些方法在需要将资源匮乏和远距离语言进行跨语言词向量嵌入时难以产生有意义的结果，表现不如弱监督的方法。作者呼吁重新审视无监督 CLWE 方法的主要动机。

    Sep, 2019

  • 为什么过拟合并不总是不好：将跨语言词向量改装成词典

    该研究利用 CLWE 实现双语词典识别，提出引入修正策略来缓解因线性投影方法欠拟合训练字典而导致下游任务中推广性不足问题，并通过实验证明了该方法对训练字典的重要性及 BLI 评价不足的原因。

    May, 2020

  • 如何（正确地）评估跨语言词向量：关于强基线、比较分析及一些误解

    本文基于多语言词嵌入（CLE）并从多个方面对 CLW 模型进行了全面评估，提出了优化 CLE 模型的方法及对现有基线进行重新评估的重要性。

    Feb, 2019

  • 无监督和半监督跨语言词嵌入学习的鲁棒性研究

    本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

    Aug, 2019

  • 跨语言 IR 的神经匹配模型研究

    通过研究交互式神经匹配模型，结合多语言词向量，为跨语言信息检索建立端到端系统提供了途径。

    May, 2020

  • 跨语言无监督意义嵌入（CLUSE）

    本文提出了一个模块化的感知诱导和表示学习模型，联合学习双语感知嵌入，在向量空间中很好地对齐，利用英汉平行语料库中的跨语言信号捕捉语言对中的词汇搭配和分布特征。通过在 Stanford 上下文单词相似性（SCWS）数据集上进行评估，确保单语感知嵌入的质量。此外，我们还介绍了双语上下文单词相似性（BCWS），这是评估跨语言感知嵌入的大型高质量数据集，是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出方法展示了在单语和双语空间中评估感知嵌入的优越质量。

    Sep, 2018