Apr, 2022

BLCU-ICALL 在 SemEval-2022 任务 1 中的定义建模跨注意力多任务框架

PDF
TL;DR本文介绍了 BLCU-ICALL 系统在 SemEval-2022 任务 1 中使用的 transformer-based multitasking framework，该框架通过交叉注意机制集成多种嵌入模型并通过掩码语言模型目标捕捉词条结构，同时还研究了一种简单有效的模型组合策略以提高鲁棒性，评价结果表明我们的方案非常有效。
blcu-icallsemeval-2022transformer-based multitasking frameworkembedding architecturesmodel ensembling
发现论文，激发创造
  • MCL@IITK 在 SemEval-2021 任务 2 中：使用增强数据、信号和变压器进行多语言和跨语言上下文单词消歧

    本文介绍了解决 SemEval 2021 任务 2 的方法，即多语言和跨语言上下文词义消歧。通过使用预训练的基于 Transformer 的语言模型，包括 ELECTRA 和 ALBERT，对英语任务和 XLM-R 对所有其他任务进行微调，通过添加信号和数据增强来提高性能，在 Multilingual 任务中取得强的性能，在 Cross-Lingual 设置中实现零射击方法，使用我们的多语言模型，后者表现略好。

    Apr, 2021

  • 在 Semeval-2022 任务 1 中的 1Cademy：通过多语言、多任务和语言无关技巧，研究反向词典任务的有效性

    本文介绍了我们针对 SemEval2022 词典义项匹配任务所设计的系统，主要集中在比赛的 Reverse Dictionary Track 上，涉及到多语言义项到重构向量的映射，主要是将输入句子转换为三类不同类型的嵌入。我们提出了几个实验，包括神经网络单元、通用多语言和多任务结构，以及语言无关技巧。最终我们的 Elmobased 单语言模型表现最佳，并且多任务、多语言变体也表现出竞争力。

    Jun, 2022

  • BUT-FIT 参加 SemEval-2020 任务 4：多语言常识

    本文描述了 BUT-FIT 团队在 SemEval 2020 任务 4（常识验证和解释）中的工作，涉及三个子任务：A、B、C。其中，在子任务 A 和 B 中，我们的提交基于预训练语言表示模型和数据增强。我们尝试了使用多语言模型和机器翻译数据集或翻译模型输入来解决另一种语言（捷克语）的任务。在子任务 C 中，我们的提交基于预训练序列到序列模型，排名第一。我们还对所有子任务进行了误差和数据集分析，并提出了我们的发现。

    Aug, 2020

  • SemEval-2023 论文集中的 MarsEclipse: 对比学习辅助的多语言多标签框架检测

    该研究使用多标签对比损失在多语言环境下对大型预训练语言模型进行微调，在 SemEval-2023 任务 3 子任务 2 的 Framing Detection 中表现竞争力十分强劲。

    Apr, 2023

  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • LIUM-CVC 提交的 WMT18 多模式翻译任务

    本文介绍了由 LIUM 和 CVC 开发的多模态神经机器翻译系统，描述了他们在 WMT18 多模态翻译共享任务中提出的几种修改架构，以更好地整合卷积特征和使用编码器方面的信息来优化模型，最终在英法和英德语言对上以 METEOR 自动评估指标为参考，获得第一和第二名。

    Sep, 2018

  • 有限平行资源下的跨语言抽象摘要

    使用一种多任务框架和共享解码器的方法，跨语言摘要的跨语言资源匮乏问题得以解决，此方法名为 MCLAS。通过 MCLAS，实验表明其可以在有限的跨语言资源下，显著优于三种基准模型。

    May, 2021

  • UMBCLU 在 SemEval-2024 Task 1A 和 1C 的文本语义相关性研究：使用和不使用机器翻译

    使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型 TranSem，并在 SemEval-2024 任务 1 中取得了不错的成绩。

    Feb, 2024

  • 多语言指代消解共享任务的发现

    本文概述了 CRAC 2022 研讨会上多语种共指消解任务的概况，采用公共数据集 CorefUD 1.0 为训练和评估数据，使用 CoNLL 得分作为主要评估指标，并比较了多个系统和竞争基线系统，获胜者系统的表现优于竞争基线 12 个百分点。

    Sep, 2022

  • SemEval-2017 任务 1 中的 Neobility: 一种基于注意力机制的句子相似性模型

    本文介绍了一种基于注意力机制的循环神经网络模型，该模型在 2017 年 SemEval 跨语言语义文本相似度（STS）任务中取得了竞争性表现（前六名），并描述了我们参加跨语言 STS 任务的情况，该任务涉及英语、西班牙语和阿拉伯语的相似度比较。

    Mar, 2017