Mar, 2024

LSCD 基准：一个历时词义任务的测试平台

PDF
TL;DR词汇语义变化检测 (LSCD) 是一个复杂的基于词元级的任务，它通常是基于两个后续应用的用法级任务来操作的：首先，对使用对生成上下文的词 (WiC) 进行标注，然后将这些标签表示为图形，在图上应用词义归纳 (WSI) 来生成语义聚类。最后，通过比较不同时期的语义聚类来得到 LSCD 的标签。这种模块化体现在大多数 LSCD 数据集和模型中，它也导致建模选项和任务定义的异质性很大，而这种异质性又被各种数据集版本、预处理选项和评估指标所加剧。这种异质性使得很难在可比较的条件下评估模型，选择最佳的模型组合或者复现结果。因此，我们提供了一个标准化 LSCD 评估的基准库。通过透明的实现，结果变得易于复现，并且通过标准化不同组件可以自由组合。该库反映了该任务的模块化特性，允许对 WiC、WSI 和 LSCD 进行模型评估。这为对越来越复杂的模型组件进行仔细评估提供了新的优化方式。
发现论文，激发创造
  • 一种用于词汇语义变化检测的语义距离度量学习方法

    通过使用已有的 Word-in-Context（WiC）数据集，我们提出了一种监督式的两阶段语义变化检测（SCD）方法，该方法可预测给定目标词在两个不同文本语料库中是否改变其意义。实验证明，我们的方法在多个语言的多个基准数据集上始终优于以前提出的 SCD 方法，为 SCD 领域建立了新的最先进技术。有趣的是，我们的研究结果暗示，存在着与语义变化相关的专门维度，在意义感知嵌入空间中承载信息。

    Mar, 2024

  • 词汇语义变化检测中的定义生成

    利用大型语言模型生成的上下文词定义作为语义表示，通过比较不同时间段内目标词的分布来检测词汇语义改变的任务中，我们发现生成的定义足够特定和普遍，能够传达充分的信号以对单词集按照其随时间的语义变化程度进行排名。同时，我们的方法在无监督的基于意义的词汇语义变化检测方法中达到或超过了先前的水平。这一方法保持可解释性，允许检查特定转变背后的原因，基于离散的定义作为意义。这是朝着可解释的语义变化建模的又一步。

    Jun, 2024

  • 词汇语义变化的上下文化词嵌入系统比较

    现有的 LSC 问题评估通常集中在 Graded Change Detection (GCD) 任务上，但由于它们依赖不同的设置，性能比较往往会误导。本研究在相同的条件下评估了最先进的 GCD 模型和方法，并将 LSC 问题分解为 Word-in-Context (WiC) 和 Word Sense Induction (WSI) 任务，在不同语言上对八个可用的 LSC 基准进行了比较，表明 (i) APD 在 GCD 方面优于其他方法；(ii) XL-LEXEME 在 WiC、WSI 和 GCD 方面优于其他上下文化模型，与 GPT-4 相当；(iii) 需要明确改进词义建模以及关注词义变化的方式、时间和原因，而不仅仅关注语义变化的程度。

    Feb, 2024

  • XL-WiC: 用于评估语义上下文的多语言基准

    提出了一种多语言的词义消歧基准测试库（称为 XL-WiC），用于评估具有不同语言背景和资源可用性的模型，即使模型仅在英语数据上进行训练，仍能在跨语言学习中达到良好的性能。

    Oct, 2020

  • 能否借助词义分布检测词义的语义变化？

    通过比较两个不同时期收集的语料库中目标词义的分布，利用预训练的静态感知嵌入自动标注每个语料库中目标词出现的感知 id，并使用不同的差异或距离度量来量化目标词在两个给定语料库中的语义变化，实验结果在 SemEval 2020 任务 1 数据集上显示出，可以准确地利用词义分布来预测英语、德语、瑞典语和拉丁语中词的语义变化。

    Oct, 2023

  • WiC = TSV = WSD：三个语义任务的等价性

    本文提出了关于 Word-in-Context （WiC）和 word sense disambiguation（WSD）的新假设，并应用理论计算机科学工具表明了 WiC、WSD 和 target sense verification（TSV）三个语义分类问题之间的等价关系，通过实验证明了问题的彼此转化的可行性。

    Jul, 2021

  • WiC：用于评估上下文感知意义表征的词语上下文数据集

    本文阐述了词嵌入无法建模词语语义动态性的限制，并介绍了若干种解决该问题的方法，例如 sense embeddings 和 contextualized embeddings，同时指出目前缺乏适合评估动态语义的基准的不足，因此通过专家注释提出了具有广泛评估价值的大规模上下文感知语义数据集 WiC.

    Aug, 2018

  • LSCDiscovery：西班牙语语义变化发现和检测的共享任务

    本文介绍了在西班牙语中关于语义变化发现和检测的首个共享任务，并使用 DURel 框架手动注释了西班牙语单词的第一个数据集。该任务分为两个阶段：1）分级变化检测，2）二元变化检测。共有六个团队参加了第一阶段，七个团队参加了第二阶段，最佳结果在第一阶段获得了 0.735 的 Spearman 等级相关性，第二阶段获得了 0.716 的 F1 分数。本文介绍了参赛团队开发的系统，强调了特别有用的技术，并讨论了这些方法的局限性。

    May, 2022

  • SemEval-2020 任务 1：无监督词汇语义变化检测

    第一项共享任务的结果，提供了评估框架和高质量的英语，德语，拉丁语和瑞典语手动注释数据集，解决了词汇语义变化检测领域中评估问题的压力，并吸引了 33 个团队提交了 186 个系统。

    Jul, 2020

  • LIAAD 在 SemDeep-5 挑战赛中：上下文中的单词（WiC）

    本文描述了 LIAAD 系统，该系统在 SemDeep-5 中的 Word-in-Context 挑战赛中排名第二。我们的解决方案基于一种使用上下文嵌入和完整库存感知嵌入的新型词义消歧系统。此外，我们展示了我们的解决方案即使不使用提供的训练或开发集，也能够实现有竞争力的性能，从而缓解了与任务过度拟合相关的潜在问题。

    Jun, 2019