EMNLPSep, 2018

跨语言无监督意义嵌入（CLUSE）

PDF
TL;DR本文提出了一个模块化的感知诱导和表示学习模型，联合学习双语感知嵌入，在向量空间中很好地对齐，利用英汉平行语料库中的跨语言信号捕捉语言对中的词汇搭配和分布特征。通过在 Stanford 上下文单词相似性（SCWS）数据集上进行评估，确保单语感知嵌入的质量。此外，我们还介绍了双语上下文单词相似性（BCWS），这是评估跨语言感知嵌入的大型高质量数据集，是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出方法展示了在单语和双语空间中评估感知嵌入的优越质量。
modularized sense inductionrepresentation learningbilingual sense embeddingscross-lingual signalvector space
发现论文，激发创造
  • 多义词语境向量跨语言对齐

    本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。

    Mar, 2021

  • 一种基于双语感知团的词汇翻译的新型双语词嵌入方法

    本研究提出了一种基于点互信息图的最大完整子图（Bilingual Sense Clique, BSC）从而将源语言和目标语言的词汇平等地处理，不需要分别使用双语投影处理，采用几种降维方法对 BSC - 词汇关系进行总结。经实验证明，该方法优于现有的双语词嵌入方法在双语词汇翻译任务上的效果。

    Jul, 2016

  • 跨语境多义词上下文词嵌入映射

    本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

    Sep, 2019

  • 基于多语境的多义词嵌入模型

    该论文介绍了一种利用多语种语料库改进多义词嵌入的多视角贝叶斯非参数算法，这是第一个能有效利用多语种语料库进行多意词表示学习的方法，结果表明采用多语种语料库可显著提高性能。

    Jun, 2017

  • 无监督和半监督跨语言词嵌入学习的鲁棒性研究

    本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

    Aug, 2019

  • 无监督机器翻译实现双语词库归纳

    本文提出一种新的方法，使用无监督机器翻译的方法生成合成平行语料库，进而提取双语词汇表。该方法可与任何词向量和跨语言映射技术一起使用，并且除了用于训练词向量的单语语料库外，不需要任何其他资源。在评估方面，与最近邻和 CSLS 技术相比，该方法在标准 MUSE 数据集上提高了 6 个准确度点，确立了新的最先进技术。

    Jul, 2019

  • 使用离散自编码器进行多义词嵌入的双语学习

    该研究提出了一种使用单语和双语信息学习多义词嵌入的方法，并且发现从双语数据中求得的单词表示在各种评估任务中优于单语表示，尽管测试时不存在跨语言信息。

    Mar, 2016

  • 对比学习能够学习通用的跨语言句子嵌入

    本文提出了 mSimCSE，在英文数据上进行对比学习，不需要平行数据，可以学习高质量的通用跨语种句子嵌入。在无监督和弱监督设置中，mSimCSE 在跨语种检索和多语 STS 任务上显著改进了先前的句子嵌入方法。在检索低资源语言和多语 STS 任务上，无监督的 mSimCSE 表现与完全监督的方法相当。当跨语言 NLI 数据可用时，性能可以进一步提高。

    Nov, 2022

  • 无需双语语料库的跨语言词嵌入学习

    使用高覆盖率的字典和 EM 式训练算法，该方法解决了以前的跨语言词嵌入方法中的资源需求大、难以融合单语言数据或难以处理多义词等问题，在双语词汇表归纳任务中实现了表现卓越的结果，并且在单语词汇相似度和跨语言文档分类任务上也取得了有竞争力的结果。

    Jun, 2016

  • 单语和跨语言元嵌入的共同语义空间

    本文介绍了一种新的技术来创建单语和跨语言的元嵌入。通过使用多种技术、文本来源、知识库和语言创建的多个单词嵌入，使用线性变换和平均值将现有单词向量投射到公共语义空间，以保持原始嵌入的维度，并通过处理词汇表外的问题而不失去信息。经过广泛的实证评估，我们的技术在各种内在和外在的多语言评估方面表现出对以前工作的有效性，并获取了在语义文本相似性方面具有竞争力的结果，并在单词相似性和词性标注方面得到了最先进的性能（英文和西班牙文）。跨语言元嵌入还表现出优秀的跨语言转移学习能力，即我们可以利用资源丰富的语言中预训练的源嵌入来改进贫乏语言的单词表示。

    Jan, 2020