EMNLPOct, 2019

利用预训练的上下文化词表示改进词义消歧

PDF
TL;DR本文探讨了不同的策略，将预训练的上下文化单词表示与非上下文化单词嵌入使用最佳策略相结合，其在多个基准 WSD 数据集上实现了显著比之前发表的最佳准确率更高的结果，并提供了源代码。
contextualized word representationsnatural language processingword sense disambiguationpre-trained contextualized word representationswsd datasets
发现论文，激发创造
  • 通过对齐稀疏上下文化词表示来解决跨语言词义消岐中的多语言问题

    我们提倡在跨语言零 - shot 词义消歧中使用大型预训练单语语言模型，并结合一种上下文映射机制。我们通过字典学习过程获得了稀疏上下文化词表示，并进行了严格的实验，证明了上述改进带来了显著的提升，平均 F 分数增加了近 6.5 个百分点（从 62.0 增加到 68.5），涵盖了 17 种语言。我们在此网址发布了复制实验的源代码。

    Jul, 2023

  • 基于知识的词义消歧的语义专业化

    本文提出了一种基于词汇知识的语境化嵌入模型用于词义消岐，将相关语义的词义和上下文靠近，将不相关的远离，用 Attract-Repel 目标函数和自训练目标函数对嵌入进行调整，实现了在知识为基础的词义消岐方面的最新前沿成果。

    Apr, 2023

  • 语言建模具有意义：通过 WordNet 传播表征进行全覆盖词义消歧

    利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

    Jun, 2019

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 阅读理解的上下文化词表示

    论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案，通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择，可以获得比现有技术更好的性能。

    Dec, 2017

  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 无监督上下文化文档表示

    该研究提出一种简单而有效的无监督表示方法 SCDV+BERT (ctxd)，通过结合上下文化的 BERT 方法和 SCDV 软聚类方法来处理单义和上下文特性的词语。研究表明，在多项分类数据集和概念匹配和句子相似性等任务中，此嵌入方法的性能优于原始 SCDV、预训练 BERT 和其他基线模型，尤其在数据稀缺和少样本学习任务中比微调 BERT 和不同嵌入方法表现更好。

    Sep, 2021

  • 使用主题模型的基于知识的词义消歧

    本研究使用主题模型的形式设计了一种词义消歧系统，使其在上下文单词数线性增长的情况下扩展，该方法在 5 个英语全单词 WSD 数据集上进行的评估表明，其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。

    Jan, 2018