EMNLPSep, 2021

语境化语言模型中的词汇歧义模式

PDF
TL;DR本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。
contextualised language modelspolysemyhomonymyword sense similaritybert large
发现论文，激发创造
  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 意思的不同层次：通过上下文化语言模型揭示模糊词表示的几何形态

    我们的研究使用最新的上下文语言模型对词汇歧义的心理学理解进行了一系列模拟，发现它们捕捉了单义词、同音异义词和多义词之间的微妙有意义的区别，为现代心理学理解词汇歧义提供了量化支持，并提出了理解上下文信息如何跨不同时间尺度塑造词汇意义的新挑战。

    Apr, 2023

  • 双向 Transformer：（西班牙语）上下文中的多义词的表示：新的词汇资源和实证分析

    通过比较多种 BERT-based 语言模型中的语境化词嵌入，我们评估了西班牙语歧义名词的语义表达。我们开发了一个新颖的句子数据集，并收集了人类的相关性判断。结果显示，这些语言模型的语义表达在人类判断中捕捉到一些差异，但不能达到人类水平。与英语不同，我们发现在西班牙语中，模型规模与性能之间没有相关性。此外，我们还发现了目标名词消歧的陈规轨迹，并在英语中部分复制了这一结果。我们贡献了（1）一组包含人类相关性判断的西班牙语句子刺激数据集，以及（2）认识到语言模型规格（结构，训练方案）对语境化嵌入的影响。

    Jun, 2024

  • RAW-C：上下文中模糊词的相关性（英语新词汇资源）

    该论文介绍了 RAW-C，一种对 112 个上下文中的模棱两可的单词进行分级人类相关性判断的数据集，以及来自 BERT 和 ELMo 的情境化词嵌入的余弦距离的度量与人类判断的相关性。同时，这份论文提出了心理语言学的理论与词汇语义计算模型之间的综合。

    May, 2021

  • 演讲者通过上下文填补词汇语义空缺

    通过研究 18 种不同语言中的单词，文章证明了词汇歧义的大小与上下文提供关于其信息量的相关性，从而推断有歧义的单词可以在上下文中被澄清，使其更好理解。

    Oct, 2020

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 预训练上下文语言模型对希伯来同形字分析的区分能力

    研究表明，最新的希伯来语情境嵌入模型在消除希伯来语同形异义词和分析词素、句法特征方面效果显著，尤其在限制分词数、2 种和 3 种歧义的情况下，对于平衡和不平衡分布的同形异义词同样有效，无论是有监督训练还是几次训练。

    May, 2024

  • 通过语境化语言模型诱导概念：从词义到更多

    通过本文，我们引入了概念归纳这个非监督任务，从数据中学习一组定义概念的词语软聚类，该任务概括了词义归纳的任务。我们提出了一种双层方法来进行概念归纳，充分利用了本地词元为中心和全局跨词库视角来引导概念的生成。我们在 SemCor 的注释数据上评估所得到的聚类，并获得了良好的性能（BCubed F1 大于 0.60）。我们发现在我们的设置中，本地和全局层次相互有益于概念和词义的生成。最后，我们创建了表示我们引入的概念的静态嵌入，并在上下文任务中使用它们，取得了与现有技术相媲美的性能。

    Jun, 2024

  • PolyLM: 通过语言模型学习多义词

    PolyLM 是一种基于语言建模的词义嵌入方法，能够融合上下文化嵌入技术，通过对词义的建模及概率计算实现更加准确的词义感知，在词义感知任务上性能优于先前的方法，且只有现有方法参数数量的六分之一。

    Jan, 2021

  • 基于多分辨率上下文嵌入网络的无监督词汇多义数量化

    本文提出了一种基于上下文嵌入空间中的简单几何形式的新颖方法来评估多义性，该方法是完全无监督和纯数据驱动的，能够较好地反映来自 WordNet、OntoNotes、Oxford 和维基百科等 6 种不同标准度量方法的排名，并能对人工排名之间的相关性进行可视化和分析。同时，该方法的一个有价值的附带产品是在不增加成本的情况下进行不同词义的样本句子抽取。最后，完全无监督的本方法使其适用于任何语言。

    Mar, 2020