跨语境多义词上下文词嵌入映射

Sep, 2019

Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind

Zheng Zhang, Ruiqing Yin, Jun Zhu, Pierre Zweigenbaum

TL;DR本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

Abstract

Recent work in cross-lingual contextual word embedding learning cannot handle multi-sense words well. In this work, we explore the characteristics of contextual word embeddings and show the link between contextual word embeddings and word senses. We propose two improving solutions by c

contextual word embedding learning multi-sense word embeddings anchor embeddings bilingual lexicon induction unsupervised alignment

发现论文，激发创造

基于多语境的多义词嵌入模型

该论文介绍了一种利用多语种语料库改进多义词嵌入的多视角贝叶斯非参数算法，这是第一个能有效利用多语种语料库进行多意词表示学习的方法，结果表明采用多语种语料库可显著提高性能。

Jun, 2017

多义词语境向量跨语言对齐

本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。

Mar, 2021

跨语言无监督意义嵌入（CLUSE）

本文提出了一个模块化的感知诱导和表示学习模型，联合学习双语感知嵌入，在向量空间中很好地对齐，利用英汉平行语料库中的跨语言信号捕捉语言对中的词汇搭配和分布特征。通过在 Stanford 上下文单词相似性（SCWS）数据集上进行评估，确保单语感知嵌入的质量。此外，我们还介绍了双语上下文单词相似性（BCWS），这是评估跨语言感知嵌入的大型高质量数据集，是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出方法展示了在单语和双语空间中评估感知嵌入的优越质量。

Sep, 2018

学习多义词嵌入的混合模型

使用混合模型来学习多感知词嵌入，取得了比以前更好的效果。

Jun, 2017

多义词嵌入是否提高自然语言理解？

本文介绍一种基于中餐馆过程的多义词嵌入模型，测试表明它在人类词语相似度判断方面取得了最先进的性能，并提出了一种管道式架构，用于将多义词嵌入结合到语言理解中，结果表明在某些任务（如词性标注、语义关系识别、语义相关性）中，多义词嵌入确实能够提高性能，但在其他任务（如命名实体识别、各种形式的情感分析）中却没有提高。

Jun, 2015

上下文词嵌入的逐步语义权重训练

本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

Nov, 2019

使用离散自编码器进行多义词嵌入的双语学习

该研究提出了一种使用单语和双语信息学习多义词嵌入的方法，并且发现从双语数据中求得的单词表示在各种评估任务中优于单语表示，尽管测试时不存在跨语言信息。

Mar, 2016

上下文感知的跨语言映射

本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

Mar, 2019

使用 BERT 知识蒸馏进行词义归纳

该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

Apr, 2023

通过词义消歧过程实现多义词嵌入

提出了一种名为 Most Suitable Sense Annotation (MSSA) 的新方法，它通过一种无监督技术来标注每个单词的特定含义，并考虑其上下文的语义效应，从而减轻了自然语言理解中多义性和同音异义词的问题，实现了语义表示方面的三个主要贡献，使用六个不同的基准模型进行 word similarity 测试，结果表明该方法能够产生最先进的结果，胜过了几个更复杂的先进系统。

Jan, 2021