EMNLPOct, 2020

无证工人” 与 “非法移民” 是否相同？在向量空间中分离指称和内涵

PDF
TL;DR本研究提出了一个对抗神经网络，用于对预训练的表示进行独立的指示和内涵表示分解。 通过该方法，相同指示但不同内涵的单词在指示空间中更加接近，而在内涵空间中则更加分散。使用该分解后的表示，在信息检索系统中能够提高文档排序的多样性。
neologismssemantic theoriesnlpadversarial neural networkinformation retrieval system
发现论文，激发创造
  • 一个统一的词汇内涵特征表示

    本文探讨了语言中词汇的隐含意义，通过创建一个新的文本数据集以及利用词嵌入空间的方法解决了有限数据下立场检测的问题。

    May, 2020

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 语义投影：从词嵌入中恢复多个不同物体特征的人类知识

    该研究探讨了一种计算模型，即词嵌入模型，通过将词表示为多维空间中的向量，从词汇共现模式中学习来自语义记忆中的常见知识，并提出了语义投影的解决方案，以检验词嵌入模型是否能够恢复多种语义特征和对象属性的上下文依赖关系。

    Feb, 2018

  • 多义性的几何学

    本文提出了一种三倍增的方法来进行无监督的多义词建模，其中使用低秩子空间来表示包含目标单词的句子，通过对表示的格拉斯曼几何进行聚类算法对目标单词的不同义项进行消歧辨别，最后基于英文维基百科语料库得出了多个词和词义对的表示，这些算法在标准意义识别和消歧辨别数据集上带来了新的最佳成果。

    Oct, 2016

  • 基于词向量的塞米特语言中名词化动词和词根派生动词的区分

    在希伯来语词嵌入的上下文中，对 Distributed Morphology 框架的两级形态学词汇形成假设进行了测试，发现四个词嵌入模型验证了这一假设。

    Aug, 2022

  • 分布语义的向量空间用于蕴涵

    本文提出了一个基于向量空间的模型，通过平均场近似，发展了逼近推理程序和蕴涵操作，用于重新解释现有的分布式语义模型（Word2Vec），以近似预测词汇蕴涵关系，通过无监督和半监督实验，在下义词检测方面取得了显著的改进。

    Jul, 2016

  • 从词到义项嵌入：对意义向量表示的调查

    此研究综述了分布式语义表示的理论背景，介绍了从单词级别向更精细的词义级别转化的方法，并提供了对两种主要分支进行的广泛技术概述；最终，对其重要方面进行了分析与评估。

    May, 2018

  • 非分布式词向量表示

    该研究介绍了一种从手工构造的语言资源（如 WordNet、FrameNet 等）中构建解释性词向量的方法，这些向量是二进制的（即仅包含 0 和 1），且稀疏率达到 99.9%。该方法在词向量分布模型的最新评估方法上表现良好，竞争力强。

    Jun, 2015

  • 去除歧义的语义表示

    通过深度语义网络来解决语义表达技术中单一代表多个意思的缺陷，提出了一种高覆盖率、能够准确表示不常见词义的技术，并在六个数据集上取得了最先进的结果。

    Aug, 2016

  • 通过逐层维度选择从预训练语言模型中解析单词语义

    该论文使用二进制掩码对预训练模型中不同层的输出进行切割，以解离 BERT 中的语义意义，而不更新预训练参数，从而产生解离的嵌入表示。使用二进制分类验证解离的嵌入的效果，判断两个不同句子中目标词的含义是否相同。实验结果表明，利用层次信息是有效的，而解离的语义意义进一步提高了性能。

    Oct, 2023