ACLMay, 2020

为什么过拟合并不总是不好：将跨语言词向量改装成词典

PDF
TL;DR该研究利用 CLWE 实现双语词典识别，提出引入修正策略来缓解因线性投影方法欠拟合训练字典而导致下游任务中推广性不足问题，并通过实验证明了该方法对训练字典的重要性及 BLI 评价不足的原因。
cross-lingual word embeddingsbilingual lexicon inductionlinear projectionsretrofittingdownstream tasks
发现论文，激发创造
  • 如何（正确地）评估跨语言词向量：关于强基线、比较分析及一些误解

    本文基于多语言词嵌入（CLE）并从多个方面对 CLW 模型进行了全面评估，提出了优化 CLE 模型的方法及对现有基线进行重新评估的重要性。

    Feb, 2019

  • 我们是否真的需要完全无监督跨语言嵌入？

    本论文研究无监督的跨语言词向量嵌入方法，发现这些方法在需要将资源匮乏和远距离语言进行跨语言词向量嵌入时难以产生有意义的结果，表现不如弱监督的方法。作者呼吁重新审视无监督 CLWE 方法的主要动机。

    Sep, 2019

  • 使用交叉编码器重新排序提高双语词典归纳能力

    本文提出了 BLICEr（BLI with Cross-Encoder Reranking）方法，是一个半监督的后处理重排序方法，用于任意预先计算过的 CLWE 空间，取得了基于两个标准 BLI 基准的新的最先进结果，涵盖了各种不同语言的宽谱。

    Oct, 2022

  • 通过 L1 范数优化进行跨语言词嵌入细化

    本文提出了一种基于曼哈顿距离的后处理方法来提高跨语言词向量的质量，并在十种不同的语言和语料库上进行了广泛的实验证明该方法可以提高词向量在双语词典归纳和自然语言推理任务中的性能。

    Apr, 2021

  • 低资源语言的同构跨语言嵌入

    本论文提出了一种跨语言词嵌入学习框架，其综合利用相关高资源语言，以解决低资源语言跨语言表示学习中的几何结构相似度不足的问题，并通过双语词表感应和特征值相似性等多个语言对的实验验证，在新颖性和性能上均有所提升。

    Mar, 2022

  • 无需双语语料库的跨语言词嵌入学习

    使用高覆盖率的字典和 EM 式训练算法，该方法解决了以前的跨语言词嵌入方法中的资源需求大、难以融合单语言数据或难以处理多义词等问题，在双语词汇表归纳任务中实现了表现卓越的结果，并且在单语词汇相似度和跨语言文档分类任务上也取得了有竞争力的结果。

    Jun, 2016

  • 学习表示双语词典

    该研究提出了一种神经嵌入模型，利用双语词典将文字定义映射到双语目标词汇，探索不同的句子编码技术以及采用多任务学习和联合学习等关键学习策略来增强学习过程，实验结果表明，该模型在跨语言反向字典检索任务和双语释义识别问题上表现优异，并有效地解决了双语释义识别问题。

    Aug, 2018

  • 结合静态词向量和上下文表示的双语词汇表归纳

    本研究提出了一种将静态词向量和上下文表示相结合的机制来改进双语词典归纳（BLI）的表现，结果表明在监督及无监督的基准测试环境下，我们的机制均可提高 3.2 和 3.1 个百分点左右的性能表现。

    Jun, 2021

  • 通过两阶段对比学习提高单词翻译

    本文提出了一个稳健且有效的两阶段对比学习框架，旨在弥合不同语言之间的词汇鸿沟，其中运用了双语词典归纳、交叉语言映射等方式，从而成功提高了跨语言单词翻译的准确率。

    Mar, 2022

  • 多义词语境向量跨语言对齐

    本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。

    Mar, 2021