AAAIMar, 2021

将多义词嵌入扩展到短语和句子，用于无监督语义应用

PDF
TL;DR提出一种新的文本编码方法，使用多模编码来表示文本序列的不同语义因素，并从输入文本序列中直接预测聚类中心来改善无监督句子相似性和提取式摘要。
unsupervised nlp modelsmulti-mode codebook embeddingsend-to-end trainable neural modelunsupervised sentence similarityextractive summarization benchmarks
发现论文，激发创造
  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 基于主题模型的多义词嵌入

    该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

    Sep, 2019

  • 跨语境多义词上下文词嵌入映射

    本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

    Sep, 2019

  • 学习多义词嵌入的混合模型

    使用混合模型来学习多感知词嵌入，取得了比以前更好的效果。

    Jun, 2017

  • 通过联合知识增强训练将词语和意义嵌入在一起

    提出一种新模型共同学习单词和语义嵌入，以解决现有方法无法区分单词不同含义的问题，利用大规模预料库和语义网络优化嵌入空间，并在各种任务中评估了该方法的优点。

    Dec, 2016

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015

  • MCSE: 句子嵌入的多模态对比学习

    本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

    Apr, 2022

  • 使用多义词向量嵌入进行反向词典

    本论文研究多义词汇的表示，提出使用注意力机制将其集成到神经网络架构中，在逆向字典任务中获得更好的性能。实验结果表明，多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。

    Apr, 2019

  • 通过流形逼近和投影实现的无监督句子嵌入

    该研究提出了一种名为 EMAP 的新技术，通过将句子投射到一个固定维度的流形上，以保留原始空间中的局部邻域来无监督地生成句子嵌入，可以用于文本分类，实验证明该方法性能优于其他最先进方法。

    Feb, 2021

  • 多义词嵌入是否提高自然语言理解？

    本文介绍一种基于中餐馆过程的多义词嵌入模型，测试表明它在人类词语相似度判断方面取得了最先进的性能，并提出了一种管道式架构，用于将多义词嵌入结合到语言理解中，结果表明在某些任务（如词性标注、语义关系识别、语义相关性）中，多义词嵌入确实能够提高性能，但在其他任务（如命名实体识别、各种形式的情感分析）中却没有提高。

    Jun, 2015