ACLAug, 2019

SenseBERT: 将一些意义驾驭进 BERT

PDF
TL;DR本文提出了一种名为 SenseBERT 的神经语言模型，通过利用单词意义级别直接进行弱监督，预测掩码单词及其 WordNet 超级意义，达到了词汇语义级别的语言模型，实验结果显示，在 SemEval Word Sense Disambiguation 任务和单词上下文任务中，SenseBERT 取得了显著的改进和最新的成果。
neural language modelsself-supervision techniqueslexical-semantic levelwordnet supersensessemeval word sense disambiguation
发现论文，激发创造
  • 语言理解的语义感知 BERT

    提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

    Sep, 2019

  • GlossBERT: 一种具备词汇知识的词义消歧 BERT 模型

    本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧（WSD）的性能。我们提出了基于 BERT 的 WSD 系统，并在 SemCor3.0 上对其进行了微调，实验结果表明，我们的方法优于现有的最先进系统。

    Aug, 2019

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020

  • 使用语义级别精度和扩展词汇探究预训练语言模型中常识知识

    本研究探讨了如何在大型语言模型中丰富常识知识，并提出了一种基于 WordNet 的实化感知库对语言模型进行增强的方法，从而提高掩蔽式任务的预测精度。通过自我监督学习，在不进行进一步训练的情况下，实现了从 WordNet、WikiData 和 ConceptNet 中获取非平凡的常识知识，并比类似的基于相似性的方法更加有效。

    Oct, 2022

  • 利用 WordNet 的语义知识提高神经词义消歧中的语义词汇压缩

    提出两种不同的方法来压缩 Princeton WordNet 的词义词汇，以及基于预训练的 BERT 词向量建立的 WSD 系统，在不需要额外训练数据的情况下大幅减小了神经 WSD 模型的大小，并在所有 WSD 评估任务上显著优于现有技术水平。

    May, 2019

  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019

  • 大规模基于替换的词义归纳

    本文提出一种基于预训练掩码语言模型（MLMs）的词义归纳方法，可以扩展到大词汇和大语料库，其结果是一个按语料库导出的意义清单进行感知标记的语料库，每个意义将与指示性单词相关联，通过在此感知标记语料库上训练静态单词嵌入算法，我们获得了优质的静态感知嵌入。这种数据驱动算法的本质可用于感知特定于语料库的感觉，正如我们在科学领域的案例研究中所证明的那样。

    Oct, 2021

  • 利用自我监督方法增强语义理解，用于抽象对话摘要

    本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

    Sep, 2022