DWUG: 四种语言的大规模历时词汇使用图资源
本文介绍了 DUKweb 数据库,它是一个大规模的资源集,用于对当代英语进行历时分析。该资源集可以提供每年的词共现矩阵和两种类型的词向量表示。我们通过一个词义变化检测的案例研究展示了 DUKweb 的重用潜力和质量标准。
Jul, 2021
提出了一种框架,将同步多义性注释扩展到词汇意义的历时变化,以抵消评估词汇语义变化计算模型的资源不足问题。利用一个直观的语义相关性概念,区分了创新和淘汰意义变化,形成了一个德文测试集,由五个注释者对 22 个目标词中 1320 个使用对的相关性进行了评级。
Apr, 2018
我们提供了一个词语使用图(WUGs)数据集,其中现有的多种语言的 WUGs 通过作为语义定义的聚类标签丰富起来。通过微调编码 - 解码语言模型从头生成这些 WUGs。进行的人工评估显示,与两个基准系统从 WordNet 选择的定义相比,这些定义更好地匹配 WUGs 中的现有聚类。同时,该方法易于使用,并且可以轻松扩展到新的语言。由此产生的丰富数据集对于进行可解释的语义变化建模非常有帮助。
Mar, 2024
利用大型语言模型生成的上下文词定义作为语义表示,通过比较不同时间段内目标词的分布来检测词汇语义改变的任务中,我们发现生成的定义足够特定和普遍,能够传达充分的信号以对单词集按照其随时间的语义变化程度进行排名。同时,我们的方法在无监督的基于意义的词汇语义变化检测方法中达到或超过了先前的水平。这一方法保持可解释性,允许检查特定转变背后的原因,基于离散的定义作为意义。这是朝着可解释的语义变化建模的又一步。
Jun, 2024
DURel 是一个实现语义接近性注释的在线开源工具,支持标准化人工注释和计算机注释,并基于最新的上下文词模型进行建模。注释者的判断通过自动图聚类技术进行聚类,并可视化进行分析。该工具提供附加功能,用于比较注释者之间的一致性,以确保获得的判断具有主观性,并计算总结统计信息,从而洞察词义频率分布、语义变化或词义随时间的变化。
Nov, 2023
通过评估 PPMI,SVD 和 word2vec 等词嵌入模型来量化语义变化的方法,我们提出并验证了语义演化的两个定量化规律:与频率呈反幂律相关的语义变化率规律和与多义性无关的语义变化率规律。
May, 2016
利用自动生成的自然语言定义,将上下文单词用法作为可解释的词和词义表示。使用 Flan-T5 语言模型生成每个用法的定义,从用法簇中选择最典型的定义作为词义标签,可在语义变化分析中进行应用。此外,上下文定义在 NLP 中的单词语境语义相似性判断中优于令牌或用法句子嵌入,是一种新的有前途的词汇表示类型。
May, 2023
词汇语义变化检测 (LSCD) 是一个复杂的基于词元级的任务,它通常是基于两个后续应用的用法级任务来操作的:首先,对使用对生成上下文的词 (WiC) 进行标注,然后将这些标签表示为图形,在图上应用词义归纳 (WSI) 来生成语义聚类。最后,通过比较不同时期的语义聚类来得到 LSCD 的标签。这种模块化体现在大多数 LSCD 数据集和模型中,它也导致建模选项和任务定义的异质性很大,而这种异质性又被各种数据集版本、预处理选项和评估指标所加剧。这种异质性使得很难在可比较的条件下评估模型,选择最佳的模型组合或者复现结果。因此,我们提供了一个标准化 LSCD 评估的基准库。通过透明的实现,结果变得易于复现,并且通过标准化不同组件可以自由组合。该库反映了该任务的模块化特性,允许对 WiC、WSI 和 LSCD 进行模型评估。这为对越来越复杂的模型组件进行仔细评估提供了新的优化方式。
Mar, 2024
该论文介绍了 RAW-C,一种对 112 个上下文中的模棱两可的单词进行分级人类相关性判断的数据集,以及来自 BERT 和 ELMo 的情境化词嵌入的余弦距离的度量与人类判断的相关性。同时,这份论文提出了心理语言学的理论与词汇语义计算模型之间的综合。
May, 2021
本文阐述了词嵌入无法建模词语语义动态性的限制,并介绍了若干种解决该问题的方法,例如 sense embeddings 和 contextualized embeddings,同时指出目前缺乏适合评估动态语义的基准的不足,因此通过专家注释提出了具有广泛评估价值的大规模上下文感知语义数据集 WiC.
Aug, 2018