SemEval-2022 11 任务:语义模糊环境中低资源语言的复杂命名实体识别
本文研究了英文语言的复杂 NER 任务,使用预训练语言模型如 BERT 取得竞争性成绩,并 qualitatively 分析了多种架构在此任务上的表现,最佳模型相比 baseline F1-score 提升了超过 9%。
Apr, 2022
本文介绍了我们在 SemEval 2022 Task 11:MultiCoNER Multilingual Complex Named Entity Recognition 中取得的成果,即:在多语言 NER 任务中,提供了一个统一的框架;在低资源代码混合 NER 任务中,采用了几种简单的数据增强方法;在中文任务中,提出了一种可以捕捉中文词汇语义、词汇边界和词汇图结构信息的模型。最后,我们的系统在子任务 11、12 和 9 的测试阶段分别获得了 77.66、84.35 和 74.00 的宏 F1 得分。
Apr, 2022
通过在所有提供的 12 种语言数据集上微调 XLM-Roberta 基础模型,利用跨语言表示方法解决 NER 多语言复杂命名实体识别任务,达到 SemEval 2023 任务 2 的最佳表现。
May, 2023
使用多语言 Transformer XLM-RoBERTa 的上下文化表示来处理多语言和混合编码查询的复杂 NER 任务,通过 CRF 的标记分类层和拾取来捕获命名实体范围和使用自我培训机制从大型未标记数据集生成弱标注数据。在 Multilingual Complex Named Entity Recognition 的共享任务中,我们的提出的系统在多语言和混合编码 MultiCoNER 的追踪中分别排名第 6 和第 8。
Apr, 2022
本文描述我们在 SemEval 2022 任务 11 中使用 Transformer 层自适应地整合多个预训练语言模型进行实体识别,在波斯语和荷兰语方面表现优异。
May, 2022
本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统,取得了 72.50% 的 F1 得分,同时讨论了通过实体链接进行数据增强的方法。
Feb, 2022
本文描述了解决 SemEval 2023 Task 2:MultiCoNER II(多语言复杂命名实体识别)问题所构建的体系结构和系统。我们评估了两种方法:传统的条件随机场模型和经过自定义头部微调的大型语言模型(LLM),并比较了这两种方法。我们探索的新想法有:1)衰减辅助损失(带剩余项)- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中;2)三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式;3)任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM,包括 GPT-3,并在最终模型中使用了多种 dropout 和其他超参数设置,该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值,并在测试数据上达到了 0.67/0.61。我们证明,虽然预训练的 LLM 本身相对传统模型带来了很大的改进,但通过上述额外特征 / 损失 / 模型工程技术的增强,我们还可以显著提高宏观 F1 分数。
Jan, 2024
本文描述了我们为 SemEval-2023 任务 12 而设计的系统:对非洲语言进行情感分析。为了缓解低资源环境下标记数据和语言资源的短缺问题,我们提出了一个通用的多语言系统 SACL-XLMR,用于对低资源语言进行情感分析。我们的系统在多语言和零样本情感分类子任务中表现出色,并在零样本分类子任务中获得了官方排名的第一名。
Jun, 2023
该研究介绍了 SemEval-2023 Task 2 的发现,该任务主要聚焦于跨越 12 种语言的复杂名词实体的识别方法(如 WRITTENWORK,VEHICLE,MUSICALGRP),并研究了如何在单语和多语境以及噪声情况下实现。MultiCoNER 2 是 SemEval-2023 中最受欢迎的任务之一,从 47 个团队的 842 篇提交的论文中脱颖而出,并发现了媒体标题和产品名称是最具挑战性的实体类型,提出了将外部知识融入 transformer 模型中来实现最佳表现的方法,并注意到嘈杂的数据对模型性能有重要影响,对嘈杂数据中包含的复杂实体的 NER 鲁棒性的未来研究需要受到关注。
May, 2023
提出了一种基于双语单词嵌入的翻译方法,以改善跨语言的 named-entity recognition 性能,并使用 self-attention 来提高鲁棒性。在对常见语言的测试中达到了最先进或具有竞争力的 NER 性能。
Aug, 2018