Feb, 2024

SemRel2024：14 种语言的语义文本相关数据集收集

PDF
TL;DR探索和量化语义相关性对于表示语言至关重要，它对各种 NLP 任务具有重要意义，包括提供关于大型语言模型能力和性能的见解。本文介绍了 SemRel，这是一个由母语为 14 种语言的本土人士进行注释的新的语义相关性数据集收集项目。每个实例都是一个句子对，并与表示两个句子之间语义文本相关性程度的分数相关联。分数是通过比较性注释框架获得的。我们描述了数据收集和注释过程、构建数据集时的相关挑战以及它们在 NLP 中的影响和实用性。我们还报告了对每种语言以及不同语言之间进行的实验。
semantic relatednessnlp taskslarge language modelssemrel datasetcomparative annotation framework
发现论文，激发创造
  • SemEval 任务 1: 非洲和亚洲语言的语义文本相关度

    我们介绍了第一个关于语义文本相关性（STR）的共享任务，探索了语义相关性这一更广泛的现象在 14 种语言中的表现。

    Mar, 2024

  • NLU-STR 在 SemEval-2024 任务 1 中的应用：基于生成的增强和基于编码器的评分方法用于语义文本相关性

    该篇研究论文通过使用 BERT 模型进行有监督和无监督的学习方法，在 SemRel-2024 任务中取得了显著的结果，包括在 MSA 中获得了 0.49 的 Spearman 相关系数的第一名，以及在摩洛哥语和阿尔及利亚语中分别获得了 0.83 和 0.53 的高分。

    May, 2024

  • 句子语义相关的原因：一个文本相关性数据集和实证研究

    本文介绍一个新的数据集 ——STR-2022，该数据集包含 5,500 个英文句子对，用比较注释框架手动注释，得出精细的分数，用于探索相关性和评估自动句子表示方法及下游的自然语言处理任务。

    Oct, 2021

  • SimRelUz：一份用于乌兹别克语语义评估的相似度和相关性评分数据集

    本文介绍了一个基于模拟瑞尔兹（SimRelUz）数据集的语义模型评估数据集，用于评估语义模型的鲁棒性和低资源语言的语义关系。

    May, 2022

  • 俄语语义相关性的人工和机器判断

    本文介绍了为俄语语义相关性提供 5 种不同规模和目的的语言资源，其中四个旨在评估计算语义相关性的系统，另一个旨在生成第一个俄语开放的分布式词库，其中包含了大规模的众包研究表明其高准确性。

    Aug, 2017

  • 多语言语义文本关联度评估

    通过挖掘句子之间的深层联系，我们在马拉地语、印地语、西班牙语和英语中探索了语义文本相关性（STR），以在各种学习范式中利用不同的语言模型。结果表明，我们的方法很有效，并且希望在多语言 STR 领域中，特别是对于资源匮乏的语言，继续激发进一步的研究。

    Apr, 2024

  • 自然语言处理和心语言学的桥梁：计算基础的巴斯克语和西班牙语语义相似性和关联数据集

    本文介绍了一个基于 NLP 资源的语义相似性数据集，用于填补心理语言学研究中的空白，并通过提供大量受词汇处理中起重要作用的变量控制的名词对的语义相似性的各种量化方式。

    Apr, 2023

  • QuaRel：回答关于定性关系问题的数据集和模型

    本文介绍了 QuaRel 数据集、适用于此类问题的简单灵活的概念框架、逻辑表达式以及用于此任务的两个新模型：第一个模型（称为 QuaSP+）在 QuaRel 上显着优于现有工具，第二个模型（QuaSP + Zero）展现了零样本能力。

    Nov, 2018

  • SART - 鞑靼语相似性、类比和相关性：词向量评估的新基准数据集

    本篇论文提出了一组新的 Tatar 语评估资源，该语言属于土耳其语系，主要分布在俄罗斯的塔塔尔斯坦共和国，该资源包含用于评估语义模型的相似性和相关性数据集，以及包含类比问题的模型数据集，用于探索语言建模的语义、语法和形态方面。我们使用这些资源对两种语言使用最先进的词嵌入模型进行评估，分析了其性能比较。

    Mar, 2019

  • UMBCLU 在 SemEval-2024 Task 1A 和 1C 的文本语义相关性研究：使用和不使用机器翻译

    使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型 TranSem，并在 SemEval-2024 任务 1 中取得了不错的成绩。

    Feb, 2024