探索和量化语义相关性对于表示语言至关重要，它对各种 NLP 任务具有重要意义，包括提供关于大型语言模型能力和性能的见解。本文介绍了 SemRel，这是一个由母语为 14 种语言的本土人士进行注释的新的语义相关性数据集收集项目。每个实例都是一个句子对，并与表示两个句子之间语义文本相关性程度的分数相关联。分数是通过比较性注释框架获得的。我们描述了数据收集和注释过程、构建数据集时的相关挑战以及它们在 NLP 中的影响和实用性。我们还报告了对每种语言以及不同语言之间进行的实验。

Feb, 2024

该篇研究论文通过使用 BERT 模型进行有监督和无监督的学习方法，在 SemRel-2024 任务中取得了显著的结果，包括在 MSA 中获得了 0.49 的 Spearman 相关系数的第一名，以及在摩洛哥语和阿尔及利亚语中分别获得了 0.83 和 0.53 的高分。

May, 2024

本文介绍了为俄语语义相关性提供 5 种不同规模和目的的语言资源，其中四个旨在评估计算语义相关性的系统，另一个旨在生成第一个俄语开放的分布式词库，其中包含了大规模的众包研究表明其高准确性。

Aug, 2017

该研究总结了俄语语义相似性评估 (RUSSE) 共享任务的概述，提出了一种基于四个新颖基准数据集的俄语语义相似性评估方法，并通过对 19 个团队的 105 个提交信息的分析，证明英语中成功的方法也可以直接适用于俄语。

Mar, 2018

我们提供了两个新颖的数据集 (ViCon 和 ViSim-400) 来评估越南语这种低资源语言的语义相似性模型，其中 ViCon 包括了各种词类中的同义词和反义词对，ViSim-400 则提供了人工评定的五种语义关系的相似程度，这两个数据集经过标准的共现和神经网络模型验证，显示出与相应英文数据集相媲美的结果。

Apr, 2018

SimLex-999 是评估分布语义模型的黄金标准资源，通过关注相似性，而非联想或相关性，改进了现有资源的评价方式以及提供了的具体和抽象的形容词、名词和动词对，具有良好的可塑性和更大范围的应用。此外，SimLex-999 可用于分析模型在不同类型的概念上的表现，并指导下一代表示学习体系结构的发展，以进一步提高其性能。

Aug, 2014

本篇论文提出了一组新的 Tatar 语评估资源，该语言属于土耳其语系，主要分布在俄罗斯的塔塔尔斯坦共和国，该资源包含用于评估语义模型的相似性和相关性数据集，以及包含类比问题的模型数据集，用于探索语言建模的语义、语法和形态方面。我们使用这些资源对两种语言使用最先进的词嵌入模型进行评估，分析了其性能比较。

Mar, 2019

本文旨在填补对上下文依赖词向量表示评估的空白，介绍了一个新数据集 CoSimLex，它提供了基于上下文的相似度量，不仅涵盖了单词意义上的离散差异，而且涵盖了更微妙、更连续程度的意义变化，并且覆盖了不只一个语言。

Dec, 2019

本文介绍了一个基于 NLP 资源的语义相似性数据集，用于填补心理语言学研究中的空白，并通过提供大量受词汇处理中起重要作用的变量控制的名词对的语义相似性的各种量化方式。

Apr, 2023

介绍了 Multi-SimLex，这是一个大规模的词汇资源和评估基准，涵盖了 12 个语言的数据集，提供了单语和跨语言评估，评估了各种最新的单语和跨语言表示模型，这个资源可以在多语言词汇语义和表示学习领域产生显著的进步。

Mar, 2020