Mar, 2024

一种用于词汇语义变化检测的语义距离度量学习方法

PDF
TL;DR通过使用已有的 Word-in-Context（WiC）数据集，我们提出了一种监督式的两阶段语义变化检测（SCD）方法，该方法可预测给定目标词在两个不同文本语料库中是否改变其意义。实验证明，我们的方法在多个语言的多个基准数据集上始终优于以前提出的 SCD 方法，为 SCD 领域建立了新的最先进技术。有趣的是，我们的研究结果暗示，存在着与语义变化相关的专门维度，在意义感知嵌入空间中承载信息。
temporal semantic changeslexical semantic change detectionsupervised two-staged scd methodword-in-context datasetssense-aware embedding space
发现论文，激发创造
  • 能否借助词义分布检测词义的语义变化？

    通过比较两个不同时期收集的语料库中目标词义的分布，利用预训练的静态感知嵌入自动标注每个语料库中目标词出现的感知 id，并使用不同的差异或距离度量来量化目标词在两个给定语料库中的语义变化，实验结果在 SemEval 2020 任务 1 数据集上显示出，可以准确地利用词义分布来预测英语、德语、瑞典语和拉丁语中词的语义变化。

    Oct, 2023

  • LSCD 基准：一个历时词义任务的测试平台

    词汇语义变化检测 (LSCD) 是一个复杂的基于词元级的任务，它通常是基于两个后续应用的用法级任务来操作的：首先，对使用对生成上下文的词 (WiC) 进行标注，然后将这些标签表示为图形，在图上应用词义归纳 (WSI) 来生成语义聚类。最后，通过比较不同时期的语义聚类来得到 LSCD 的标签。这种模块化体现在大多数 LSCD 数据集和模型中，它也导致建模选项和任务定义的异质性很大，而这种异质性又被各种数据集版本、预处理选项和评估指标所加剧。这种异质性使得很难在可比较的条件下评估模型，选择最佳的模型组合或者复现结果。因此，我们提供了一个标准化 LSCD 评估的基准库。通过透明的实现，结果变得易于复现，并且通过标准化不同组件可以自由组合。该库反映了该任务的模块化特性，允许对 WiC、WSI 和 LSCD 进行模型评估。这为对越来越复杂的模型组件进行仔细评估提供了新的优化方式。

    Mar, 2024

  • 词汇语义变化检测中的定义生成

    利用大型语言模型生成的上下文词定义作为语义表示，通过比较不同时间段内目标词的分布来检测词汇语义改变的任务中，我们发现生成的定义足够特定和普遍，能够传达充分的信号以对单词集按照其随时间的语义变化程度进行排名。同时，我们的方法在无监督的基于意义的词汇语义变化检测方法中达到或超过了先前的水平。这一方法保持可解释性，允许检查特定转变背后的原因，基于离散的定义作为意义。这是朝着可解释的语义变化建模的又一步。

    Jun, 2024

  • 词汇语义变化的上下文化词嵌入系统比较

    现有的 LSC 问题评估通常集中在 Graded Change Detection (GCD) 任务上，但由于它们依赖不同的设置，性能比较往往会误导。本研究在相同的条件下评估了最先进的 GCD 模型和方法，并将 LSC 问题分解为 Word-in-Context (WiC) 和 Word Sense Induction (WSI) 任务，在不同语言上对八个可用的 LSC 基准进行了比较，表明 (i) APD 在 GCD 方面优于其他方法；(ii) XL-LEXEME 在 WiC、WSI 和 GCD 方面优于其他上下文化模型，与 GPT-4 相当；(iii) 需要明确改进词义建模以及关注词义变化的方式、时间和原因，而不仅仅关注语义变化的程度。

    Feb, 2024

  • UWB 在 SemEval-2020 任务 1 中的词汇语义变化检测

    本文介绍我们在 SemEval2020 任务 1 中创造性的提出了语义变化检测方法，该方法是全自动的，不需要人工干预，且独立于语言；我们利用标准相关分析和正交变换计算语义空间之间的线性变换，并通过比较早期和晚期语料库中目标单词的向量之间的余弦相似度来检测语义变化。

    Nov, 2020

  • 交换与预测 - 通过上下文交换预测语义变化跨语料库中的词汇

    使用预训练的遮蔽语言模型（MLM）中获取的具有上下文的词嵌入来表示在两个不同的文本语料中给定目标词 w 的含义，并通过上下文交换方法准确预测了四种语言（英语，德语，瑞典语和拉丁语）以及不同时间跨度下（超过 50 年和约 5 年）词义的语义变化。

    Oct, 2023

  • SemEval-2020 任务 1：无监督词汇语义变化检测

    第一项共享任务的结果，提供了评估框架和高质量的英语，德语，拉丁语和瑞典语手动注释数据集，解决了词汇语义变化检测领域中评估问题的压力，并吸引了 33 个团队提交了 186 个系统。

    Jul, 2020

  • 词汇语义变化探测

    本文提出从变化检测到变化发现的新方向，重点在于发现全文词汇中的新单词含义变化。通过对最近发表的德语数据进行深度调整，研究人员证明了两种模型都可以成功地应用于发现正在经历含义变化的新单词。此外，还提供一个几乎全自动化的框架用于评估和发现。

    Jun, 2021

  • 基于代替的语义变化检测使用上下文嵌入

    使用上下文嵌入测量语义变化的简化方法，仅依赖于最可能替代被遮盖术语的方法，不仅这种方法可直接解释，而且在存储效率、性能及变化细致调查方面均表现优越。

    Sep, 2023

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020