Apr, 2023

自然语言处理和心语言学的桥梁：计算基础的巴斯克语和西班牙语语义相似性和关联数据集

PDF
TL;DR本文介绍了一个基于 NLP 资源的语义相似性数据集，用于填补心理语言学研究中的空白，并通过提供大量受词汇处理中起重要作用的变量控制的名词对的语义相似性的各种量化方式。
发现论文，激发创造
  • 概念语言相似性的研究：比较与评估

    本研究旨在将语言学的特性纳入到自然语言处理（NLP）中，通过基于基本概念的表示来定义语言之间的相似性并将其应用于二元分类任务中的低资源语言研究。

    May, 2023

  • PESTS: 波斯语 - 英语跨语言语义文本相似性语料库

    本文为首次使用语言专家生成了一个波斯语和英语句子之间语义文本相似性语料库 (PESTS)，并使用此数据集微调不同的基于 transformers 的模型，并且结果表明，使用 PESTS 数据集，XLM ROBERTa 模型的 Pearson 相关性从 85.87％提高至 95.62％。

    May, 2023

  • 介绍两个用于评估（不）相似性和相关度语义模型的越南语数据集

    我们提供了两个新颖的数据集 (ViCon 和 ViSim-400) 来评估越南语这种低资源语言的语义相似性模型，其中 ViCon 包括了各种词类中的同义词和反义词对，ViSim-400 则提供了人工评定的五种语义关系的相似程度，这两个数据集经过标准的共现和神经网络模型验证，显示出与相应英文数据集相媲美的结果。

    Apr, 2018

  • 句子语义相关的原因：一个文本相关性数据集和实证研究

    本文介绍一个新的数据集 ——STR-2022，该数据集包含 5,500 个英文句子对，用比较注释框架手动注释，得出精细的分数，用于探索相关性和评估自动句子表示方法及下游的自然语言处理任务。

    Oct, 2021

  • 自然语言和本体分析的语义相似性

    本书主要介绍语义相似度估计及其它语义度量学科的两种最先进的方法：自然语言处理技术和语义模型以及基于语义网络、词库或本体论的计算机可读的知识形式。它的目的是为初学者和研究人员提供更好地理解语义相似度估计和更一般的语义度量。

    Apr, 2017

  • 历史英语语义相似性巨大数据集

    该研究利用来自当地美国报纸的新数字化文章创建了一个巨大的语义相似性数据集，并利用深度神经方法检测了这些文章中的正面语义相似性对。该语义相似性数据集跨足了 70 年，包含近 400M 个正面语义相似性对，随着时间跨度的增加，将有助于将对比训练的语义相似性模型应用于各种任务。

    Jun, 2023

  • 一种轻量级的跨语言语义文本相似度方法

    该研究提出了一种基于词向量的跨语义相似度计算方法，只需要一个有限的单词翻译库，能够适用于几乎所有语言对，达到与监督和资源密集型方法相近的表现，在可比较语料库中提取平行句子和跨语言抄袭检测任务中得到与现有模型相当的性能。

    Jan, 2018

  • SemRel2024：14 种语言的语义文本相关数据集收集

    探索和量化语义相关性对于表示语言至关重要，它对各种 NLP 任务具有重要意义，包括提供关于大型语言模型能力和性能的见解。本文介绍了 SemRel，这是一个由母语为 14 种语言的本土人士进行注释的新的语义相关性数据集收集项目。每个实例都是一个句子对，并与表示两个句子之间语义文本相关性程度的分数相关联。分数是通过比较性注释框架获得的。我们描述了数据收集和注释过程、构建数据集时的相关挑战以及它们在 NLP 中的影响和实用性。我们还报告了对每种语言以及不同语言之间进行的实验。

    Feb, 2024

  • 俄语语义相关性的人工和机器判断

    本文介绍了为俄语语义相关性提供 5 种不同规模和目的的语言资源，其中四个旨在评估计算语义相关性的系统，另一个旨在生成第一个俄语开放的分布式词库，其中包含了大规模的众包研究表明其高准确性。

    Aug, 2017

  • LyricSIM：西班牙歌词相似性检测的新数据集与基准

    本文介绍了一个用于歌词语义相似度任务的新数据集和基准。通过一项集体注释实验，我们获得了 676 个高质量的注释对，并评估了各种最先进的单语和多语言语言模型的性能，以建立未来学术和工业应用的基准结果。

    Jun, 2023