ACLFeb, 2024

词汇语义变化的上下文化词嵌入系统比较

PDF
TL;DR现有的 LSC 问题评估通常集中在 Graded Change Detection (GCD) 任务上，但由于它们依赖不同的设置，性能比较往往会误导。本研究在相同的条件下评估了最先进的 GCD 模型和方法，并将 LSC 问题分解为 Word-in-Context (WiC) 和 Word Sense Induction (WSI) 任务，在不同语言上对八个可用的 LSC 基准进行了比较，表明 (i) APD 在 GCD 方面优于其他方法；(ii) XL-LEXEME 在 WiC、WSI 和 GCD 方面优于其他上下文化模型，与 GPT-4 相当；(iii) 需要明确改进词义建模以及关注词义变化的方式、时间和原因，而不仅仅关注语义变化的程度。
contextualized embeddingslexical semantic changegraded change detectionword-in-contextword sense induction
发现论文，激发创造
  • 研究上下文词嵌入维度对上下文和时间语义变化的影响

    词语会随着时间和不同的语境而改变其含义。词语在上下文感知的上下文化词嵌入空间中编码语义变化，在语义变化检测基准中具有卓越性能。本研究通过使用 PCA 和 ICA 转换在预训练的词嵌入和微调后的词嵌入之间进行比较，揭示了几个新的洞察，例如信息如何在嵌入空间中分布和 PCA 能更好地表示语义变化。

    Jul, 2024

  • WiC：用于评估上下文感知意义表征的词语上下文数据集

    本文阐述了词嵌入无法建模词语语义动态性的限制，并介绍了若干种解决该问题的方法，例如 sense embeddings 和 contextualized embeddings，同时指出目前缺乏适合评估动态语义的基准的不足，因此通过专家注释提出了具有广泛评估价值的大规模上下文感知语义数据集 WiC.

    Aug, 2018

  • 一种用于词汇语义变化检测的语义距离度量学习方法

    通过使用已有的 Word-in-Context（WiC）数据集，我们提出了一种监督式的两阶段语义变化检测（SCD）方法，该方法可预测给定目标词在两个不同文本语料库中是否改变其意义。实验证明，我们的方法在多个语言的多个基准数据集上始终优于以前提出的 SCD 方法，为 SCD 领域建立了新的最先进技术。有趣的是，我们的研究结果暗示，存在着与语义变化相关的专门维度，在意义感知嵌入空间中承载信息。

    Mar, 2024

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 上下文化语言模型用于语义变化检测：经验教训

    本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

    Aug, 2022

  • 测量词语语境偏差在词汇语义数据集中

    本文首次定量分析各大语境词汇语义任务中正在测试的语境词交互。结果表明，与人类在这些任务中完全不同，现有数据集在测试预训练上下文化模型时存在极端偏差，需要更好地理解模型与人类之间的差距。本文提出了一种框架以更好地理解和控制这些偏差，以进行模型解释和未来任务设计。

    Dec, 2021

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • LSCD 基准：一个历时词义任务的测试平台

    词汇语义变化检测 (LSCD) 是一个复杂的基于词元级的任务，它通常是基于两个后续应用的用法级任务来操作的：首先，对使用对生成上下文的词 (WiC) 进行标注，然后将这些标签表示为图形，在图上应用词义归纳 (WSI) 来生成语义聚类。最后，通过比较不同时期的语义聚类来得到 LSCD 的标签。这种模块化体现在大多数 LSCD 数据集和模型中，它也导致建模选项和任务定义的异质性很大，而这种异质性又被各种数据集版本、预处理选项和评估指标所加剧。这种异质性使得很难在可比较的条件下评估模型，选择最佳的模型组合或者复现结果。因此，我们提供了一个标准化 LSCD 评估的基准库。通过透明的实现，结果变得易于复现，并且通过标准化不同组件可以自由组合。该库反映了该任务的模块化特性，允许对 WiC、WSI 和 LSCD 进行模型评估。这为对越来越复杂的模型组件进行仔细评估提供了新的优化方式。

    Mar, 2024

  • 词汇语义变化检测中的定义生成

    利用大型语言模型生成的上下文词定义作为语义表示，通过比较不同时间段内目标词的分布来检测词汇语义改变的任务中，我们发现生成的定义足够特定和普遍，能够传达充分的信号以对单词集按照其随时间的语义变化程度进行排名。同时，我们的方法在无监督的基于意义的词汇语义变化检测方法中达到或超过了先前的水平。这一方法保持可解释性，允许检查特定转变背后的原因，基于离散的定义作为意义。这是朝着可解释的语义变化建模的又一步。

    Jun, 2024