Apr, 2024

MaiNLP 在 SemEval-2024 任务 1 中的表现：跨语言文本相关性中的源语言选择分析

PDF
TL;DR本文介绍了我们为 SemEval-2024 任务 1 所开发的系统：语义文本相关性（STR），在 Track C：跨语言下。该任务的目标是在没有直接监督（即零 - shot 跨语言转移）的情况下，检测给定目标语言中两个句子的语义相关性。为此，我们关注两个不同预训练语言模型：XLM-R 和 Furina 上的不同源语言选择策略。我们通过以下实验：1）单源转移并基于类型学相似性选择源语言，2）用两个最近邻源语言扩充英语训练数据，以及 3）多源转移，我们将所有训练语言与同一语系的语言进行比较。我们还研究了基于机器翻译的数据增强和脚本差异的影响。我们的提交在 C8（Kinyarwanda）测试集中取得了第一名。
semeval-2024semantic textual relatednesscross-lingual transfersource language selection strategiesmachine translation-based data augmentation
发现论文，激发创造
  • 多语言语义文本关联度评估

    通过挖掘句子之间的深层联系，我们在马拉地语、印地语、西班牙语和英语中探索了语义文本相关性（STR），以在各种学习范式中利用不同的语言模型。结果表明，我们的方法很有效，并且希望在多语言 STR 领域中，特别是对于资源匮乏的语言，继续激发进一步的研究。

    Apr, 2024

  • UMBCLU 在 SemEval-2024 Task 1A 和 1C 的文本语义相关性研究：使用和不使用机器翻译

    使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型 TranSem，并在 SemEval-2024 任务 1 中取得了不错的成绩。

    Feb, 2024

  • SemEval 任务 1: 非洲和亚洲语言的语义文本相关度

    我们介绍了第一个关于语义文本相关性（STR）的共享任务，探索了语义相关性这一更广泛的现象在 14 种语言中的表现。

    Mar, 2024

  • AAdaM 参与 SemEval-2024 任务 1：多语言语义文本相关性的增强和适应

    本文提出了在 SemEval-2024 Task 1 中开发的系统：用于非洲和亚洲语言的语义文本相关性。该共享任务旨在测量句子对之间的语义文本相关性，重点关注一系列少数语言。我们在这项工作中提出了使用机器翻译进行数据增强来解决有限训练数据的低资源挑战。此外，我们对未标记任务数据进行任务自适应预训练，以弥合预训练和任务适应之间的差距。对于模型训练，我们研究了完全微调和基于适配器的微调，并采用适配器框架实现了有效的零次跨语言迁移。在共享任务中，我们取得了具有竞争力的结果：我们的系统在子任务 A（监督学习）和子任务 C（跨语言迁移）中排名最高。

    Apr, 2024

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • NLU-STR 在 SemEval-2024 任务 1 中的应用：基于生成的增强和基于编码器的评分方法用于语义文本相关性

    该篇研究论文通过使用 BERT 模型进行有监督和无监督的学习方法，在 SemRel-2024 任务中取得了显著的结果，包括在 MSA 中获得了 0.49 的 Spearman 相关系数的第一名，以及在摩洛哥语和阿尔及利亚语中分别获得了 0.83 和 0.53 的高分。

    May, 2024

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • Sharif-STR 在 SemEval-2024 任务 1 中：Transformer 作为文本语义关系细粒度评分的回归模型

    使用 RoBERTa transformer 对语句级 STR（语义文本关联性）进行 fine-tuning 技术的研究，发现了这种方法在不同语言中取得了显著的性能提升，尤其在拉丁语言中取得了令人瞩目的成果。

    Jul, 2024

  • NLNDE at SemEval-2023 Task 12: 低资源多语言情感分析的自适应预训练和源语言选择

    通过利用语言自适应和任务自适应的预训练模型，本文针对非洲语言低资源性情感分析问题的特点，研究了基于预训练的语言模型的迁移学习方法，并发现将预训练模型适应到目标语言和任务上可以显著提高模型表现，选择具有积极转移增益的源语言可以避免干扰，这在多语言和跨语言设置中可以取得更好的结果。

    Apr, 2023

  • HFL 在 SemEval-2022 任务 8 中：一种基于语言学的回归模型与数据增强的多语言新闻相似性方法

    本文介绍了我们的系统，以应对针对于 SemEval-2022 任务 8：多语言新闻文章相似性。我们提出了一种受语言学启发的模型，采用了几个任务特定的策略进行训练。我们的系统的主要技术包括：1）数据增强，2）多标签损失，3）适应 R-Drop，4）头尾组合中的样本重构。我们还对一些负面方法进行了简要分析，例如两塔架构。我们的系统在排行榜上排名第 1，并在官方评估集上实现了 0.818 的皮尔逊相关系数。

    Apr, 2022