ACLApr, 2024

AAdaM 参与 SemEval-2024 任务 1：多语言语义文本相关性的增强和适应

PDF
TL;DR本文提出了在 SemEval-2024 Task 1 中开发的系统：用于非洲和亚洲语言的语义文本相关性。该共享任务旨在测量句子对之间的语义文本相关性，重点关注一系列少数语言。我们在这项工作中提出了使用机器翻译进行数据增强来解决有限训练数据的低资源挑战。此外，我们对未标记任务数据进行任务自适应预训练，以弥合预训练和任务适应之间的差距。对于模型训练，我们研究了完全微调和基于适配器的微调，并采用适配器框架实现了有效的零次跨语言迁移。在共享任务中，我们取得了具有竞争力的结果：我们的系统在子任务 A（监督学习）和子任务 C（跨语言迁移）中排名最高。
发现论文，激发创造
  • UMBCLU 在 SemEval-2024 Task 1A 和 1C 的文本语义相关性研究：使用和不使用机器翻译

    使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型 TranSem，并在 SemEval-2024 任务 1 中取得了不错的成绩。

    Feb, 2024

  • IITK 参加 SemEval-2024 任务 1：对比学习和自编码器用于多语言文本的语义文本相关性

    该研究描述了我们为 SemEval-2024 任务 1 开发的系统：语义文本相关性。该挑战主要关注在包括亚洲和非洲的高资源和低资源语言在内的 14 种语言中自动检测句子对相关性的程度。我们团队参与了两个子任务，包括监督式轨道和非监督式轨道。本文主要关注基于 BERT 的对比学习和基于相似度度量的方法，用于监督式轨道，并探索无监督式轨道中的自动编码器。同时，该研究还旨在使用负采样策略创建一个双词相关性语料库，从而生成精炼的词嵌入。

    Apr, 2024

  • AdaMergeX: 透过自适应适配器合并实现大型语言模型的跨语言迁移

    我们提出了一种新的跨语言转移方法 $\texttt {AdaMergeX}$，利用自适应适配器合并，在引入参考任务的基础上，结合其他三个适配器可以获得目标适配器，实验证明该方法在各种设置下都能提供新的有效的跨语言转移，优于现有方法。

    Feb, 2024

  • MaiNLP 在 SemEval-2024 任务 1 中的表现：跨语言文本相关性中的源语言选择分析

    本文介绍了我们为 SemEval-2024 任务 1 所开发的系统：语义文本相关性（STR），在 Track C：跨语言下。该任务的目标是在没有直接监督（即零 - shot 跨语言转移）的情况下，检测给定目标语言中两个句子的语义相关性。为此，我们关注两个不同预训练语言模型：XLM-R 和 Furina 上的不同源语言选择策略。我们通过以下实验：1）单源转移并基于类型学相似性选择源语言，2）用两个最近邻源语言扩充英语训练数据，以及 3）多源转移，我们将所有训练语言与同一语系的语言进行比较。我们还研究了基于机器翻译的数据增强和脚本差异的影响。我们的提交在 C8（Kinyarwanda）测试集中取得了第一名。

    Apr, 2024

  • SemEval 任务 1: 非洲和亚洲语言的语义文本相关度

    我们介绍了第一个关于语义文本相关性（STR）的共享任务，探索了语义相关性这一更广泛的现象在 14 种语言中的表现。

    Mar, 2024

  • Masakhane-Afrisenti 在 SemEval-2023 任务 12 中：使用面向非洲中心的语言模型和适配器进行低资源非洲语言情感分析

    AfriSenti-SemEval 分享任务 12 旨在对 12 种非洲语言进行单语情感分类（子任务 A）、多语种情感分类（子任务 B）和零样本情感分类（任务 C）的分类。我们的实验表明，使用预训练的非洲语言模型可以提高非洲语言的低资源性能，而使用适配器进行零样本任务的实验结果表明，我们能够在有限的资源下通过使用适配器获得有希望的结果。

    Apr, 2023

  • NLNDE at SemEval-2023 Task 12: 低资源多语言情感分析的自适应预训练和源语言选择

    通过利用语言自适应和任务自适应的预训练模型，本文针对非洲语言低资源性情感分析问题的特点，研究了基于预训练的语言模型的迁移学习方法，并发现将预训练模型适应到目标语言和任务上可以显著提高模型表现，选择具有积极转移增益的源语言可以避免干扰，这在多语言和跨语言设置中可以取得更好的结果。

    Apr, 2023

  • NLU-STR 在 SemEval-2024 任务 1 中的应用：基于生成的增强和基于编码器的评分方法用于语义文本相关性

    该篇研究论文通过使用 BERT 模型进行有监督和无监督的学习方法，在 SemRel-2024 任务中取得了显著的结果，包括在 MSA 中获得了 0.49 的 Spearman 相关系数的第一名，以及在摩洛哥语和阿尔及利亚语中分别获得了 0.83 和 0.53 的高分。

    May, 2024

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024

  • UBC-DLNLP 参加 SemEval-2023 任务 12：迁移学习对非洲情感分析的影响

    该研究通过使用六种语言模型并采用迁移学习和微调技术，开发了用于 14 种不同非洲语言情感分析的多语言模型，最终在开发和测试数据中取得了 F1 得分。结果表明跨多种语言的情感分析可以通过迁移学习和微调技术实现，该方法可以应用于其他语言和领域的情感分析任务。

    Apr, 2023