学习多义词嵌入的混合模型
本论文研究多义词汇的表示,提出使用注意力机制将其集成到神经网络架构中,在逆向字典任务中获得更好的性能。实验结果表明,多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。
Apr, 2019
本文提出两种改进的解决方案,通过将上下文多义词嵌入视为噪声(去除)和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入,提高了跨语言语境下上下文词嵌入对齐的微观性能,同时不会损害双语词汇表归纳任务的宏观性能;对于无监督对齐,我们的方法在双语词汇表归纳任务中显著提高了 10 多分。
Sep, 2019
本文介绍一种基于中餐馆过程的多义词嵌入模型,测试表明它在人类词语相似度判断方面取得了最先进的性能,并提出了一种管道式架构,用于将多义词嵌入结合到语言理解中,结果表明在某些任务(如词性标注、语义关系识别、语义相关性)中,多义词嵌入确实能够提高性能,但在其他任务(如命名实体识别、各种形式的情感分析)中却没有提高。
Jun, 2015
本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架,旨在促进句子中单词之间的交互,并使用环境中的句法信息来增强向量。研究结果表明,该框架在 MSRPar 任务上取得了具有代表性的结果。
Aug, 2015
该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入,同时介绍了一种修剪嵌入的方法,用于代表每个主题中每个单词的概率表示, 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性,并优于各种最先进的实现。
Sep, 2019
提出一种新模型共同学习单词和语义嵌入,以解决现有方法无法区分单词不同含义的问题,利用大规模预料库和语义网络优化嵌入空间,并在各种任务中评估了该方法的优点。
Dec, 2016
我们开发了一种简单而有效的方法来学习单词意义嵌入。通过聚类相关单词的自我网络,我们的方法可以从现有的单词嵌入中引出一种意义库,并通过学习的意义向量标记上下文中的单词,从而产生了下游应用。实验表明,我们的方法的性能与最先进的无监督 WSD 系统相当。
Aug, 2017
本篇论文提出了一种新的方法,基于监督式消歧,为每个单词建立多个嵌入向量,从而针对字面意思和文本语境对不同主题进行消歧,以及在神经依赖分析上具有更好的错误率表现。
Nov, 2015
提出了一种名为 Most Suitable Sense Annotation (MSSA) 的新方法,它通过一种无监督技术来标注每个单词的特定含义,并考虑其上下文的语义效应,从而减轻了自然语言理解中多义性和同音异义词的问题,实现了语义表示方面的三个主要贡献,使用六个不同的基准模型进行 word similarity 测试,结果表明该方法能够产生最先进的结果,胜过了几个更复杂的先进系统。
Jan, 2021