May, 2023

PESTS: 波斯语 - 英语跨语言语义文本相似性语料库

PDF
TL;DR本文为首次使用语言专家生成了一个波斯语和英语句子之间语义文本相似性语料库 (PESTS)，并使用此数据集微调不同的基于 transformers 的模型，并且结果表明，使用 PESTS 数据集，XLM ROBERTa 模型的 Pearson 相关性从 85.87％提高至 95.62％。
semantic textual similaritycomputational linguisticscross-lingual similaritylow resource languagestransformers
发现论文，激发创造
  • 一种轻量级的跨语言语义文本相似度方法

    该研究提出了一种基于词向量的跨语义相似度计算方法，只需要一个有限的单词翻译库，能够适用于几乎所有语言对，达到与监督和资源密集型方法相近的表现，在可比较语料库中提取平行句子和跨语言抄袭检测任务中得到与现有模型相当的性能。

    Jan, 2018

  • 从可比语料库中提取英波斯平行语料库

    使用双向方法从英语和波斯文档的维基百科中提取平行句子，使用机器翻译系统将波斯文翻译成英文，反之亦然，然后使用 IR 系统测量翻译后句子的相似度，并将提取的句子加入现有 SMT 系统的训练数据，以改善翻译质量。提出的方法略优于单向方法。提取的语料库包含约 200,000 个句子，已按其相似度由 IR 系统计算排序，并可在 Web 上免费访问。

    Nov, 2017

  • 自然语言处理和心语言学的桥梁：计算基础的巴斯克语和西班牙语语义相似性和关联数据集

    本文介绍了一个基于 NLP 资源的语义相似性数据集，用于填补心理语言学研究中的空白，并通过提供大量受词汇处理中起重要作用的变量控制的名词对的语义相似性的各种量化方式。

    Apr, 2023

  • SemEval-2017 任务 1 中的 CompiLIG: 用于语义文本相似性的跨语言抄袭检测方法

    使用基于语法、字典、上下文和机器翻译的多种方法，并采用无监督和有监督的方式组合，我们的最佳运行在 SemEval-2017 的 STS Track4a 中排名第一，与人类注释的相关性达到 83.02%。

    Apr, 2017

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024

  • 使用 Transformers 评估波斯语 - 英语机器翻译数据集

    本研究基于最受欢迎和有价值的平行语料库，将两种最先进的基于注意力的 seq2seq 模型应用于波斯语 - 英语机器翻译任务，旨在为研究人员提供标准基准，以评估其翻译结果。

    Feb, 2023

  • Multi-SimLex：多语种和跨语言词汇语义相似度的大规模评估

    介绍了 Multi-SimLex，这是一个大规模的词汇资源和评估基准，涵盖了 12 个语言的数据集，提供了单语和跨语言评估，评估了各种最新的单语和跨语言表示模型，这个资源可以在多语言词汇语义和表示学习领域产生显著的进步。

    Mar, 2020

  • 共享嵌入空间中跨语言性的大规模多语言分析

    本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

    Sep, 2021

  • 基于语料库统计和词汇分类的语义相似度

    本文提出了一种通过在词汇分类结构和语料统计信息之间进行结合从而更好地度量语义空间内节点间语义距离的方法。这种综合方法结合了基于边缘计数方案的边缘方法和基于信息内容计算的节点方法，实现了对词对相似性评分数据集的超越性表现，与人类相似性判断的基准最高相关性值为 r=0.828，而在人类主体复制相同任务时可以观察到一个上界（r=0.885）。

    Sep, 1997