ACLJun, 2019

语言建模具有意义：通过 WordNet 传播表征进行全覆盖词义消歧

PDF
TL;DR利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。
contextual embeddingsword sense disambiguationneural language modellingwordnetsense-level embeddings
发现论文，激发创造
  • LMMS Reloaded: 基于 Transformer 的语义嵌入用于消歧和更多应用

    该研究介绍了如何使用神经语言模型，通过从所有层收集信息生成感知嵌入，并展示了这些嵌入的多种领域应用，特别是在词义消歧任务中，提出的方法通过对 14 个神经语言模型变体的分析，在准确性和任务多样性方面实现了改进。

    May, 2021

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015

  • 基于知识的词义消歧的语义专业化

    本文提出了一种基于词汇知识的语境化嵌入模型用于词义消岐，将相关语义的词义和上下文靠近，将不相关的远离，用 Attract-Repel 目标函数和自训练目标函数对嵌入进行调整，实现了在知识为基础的词义消岐方面的最新前沿成果。

    Apr, 2023

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 利用预训练的上下文化词表示改进词义消歧

    本文探讨了不同的策略，将预训练的上下文化单词表示与非上下文化单词嵌入使用最佳策略相结合，其在多个基准 WSD 数据集上实现了显著比之前发表的最佳准确率更高的结果，并提供了源代码。

    Oct, 2019

  • 通过语义词汇资源增强现代监督式词义消歧模型

    通过在现代监督式词义消歧模型中将语义特征引入分类器并考虑使用语义词典结构来增加训练数据，本文提出了一种有效的增强模型。通过研究不同类型的语义特征与本地上下文的交互作用，本文将所提出的模型扩展为一种新颖的多层架构，实验证明这种方法可以与现有的最新方法相比较。

    Feb, 2024

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018