LLM-RM 在 SemEval-2023 任务 2 中的应用：利用 XLM-RoBERTa 进行多语言复杂命名实体识别
使用多语言 Transformer XLM-RoBERTa 的上下文化表示来处理多语言和混合编码查询的复杂 NER 任务，通过 CRF 的标记分类层和拾取来捕获命名实体范围和使用自我培训机制从大型未标记数据集生成弱标注数据。在 Multilingual Complex Named Entity Recognition 的共享任务中，我们的提出的系统在多语言和混合编码 MultiCoNER 的追踪中分别排名第 6 和第 8。
Apr, 2022
使用预训练的语言模型和整词遮罩技术，结合 CRF、BiLSTMs、线性分类器等多种神经网络架构， 在中文和西班牙语两种低资源语言的命名实体识别任务上超越基准，并在任务中表现最佳模型占据竞争性位置。
Jul, 2022
本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。
Jan, 2024
该研究介绍了 SemEval-2023 Task 2 的发现，该任务主要聚焦于跨越 12 种语言的复杂名词实体的识别方法（如 WRITTENWORK，VEHICLE，MUSICALGRP），并研究了如何在单语和多语境以及噪声情况下实现。MultiCoNER 2 是 SemEval-2023 中最受欢迎的任务之一，从 47 个团队的 842 篇提交的论文中脱颖而出，并发现了媒体标题和产品名称是最具挑战性的实体类型，提出了将外部知识融入 transformer 模型中来实现最佳表现的方法，并注意到嘈杂的数据对模型性能有重要影响，对嘈杂数据中包含的复杂实体的 NER 鲁棒性的未来研究需要受到关注。
May, 2023
本文介绍了我们在 SemEval 2022 Task 11：MultiCoNER Multilingual Complex Named Entity Recognition 中取得的成果，即：在多语言 NER 任务中，提供了一个统一的框架；在低资源代码混合 NER 任务中，采用了几种简单的数据增强方法；在中文任务中，提出了一种可以捕捉中文词汇语义、词汇边界和词汇图结构信息的模型。最后，我们的系统在子任务 11、12 和 9 的测试阶段分别获得了 77.66、84.35 和 74.00 的宏 F1 得分。
Apr, 2022
本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统，取得了 72.50% 的 F1 得分，同时讨论了通过实体链接进行数据增强的方法。
Feb, 2022
本文探讨在自然语言处理领域中识别命名实体的挑战，并着重分析代码混合文本在语言上的复杂性。作者通过利用多语言数据实现了对代码混合数据集中的命名实体识别，并取得了 0.7044 的加权平均 F1 值，比基准线高 6%。
Jun, 2022
本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。
Apr, 2022
介绍了一种名为 MultiCoNER 的大型多语言数据集，可支持 11 种语言和 3 个领域的命名实体识别。使用两个 NER 模型对数据集进行了测试，并对其进行了评估。建立的模型都表现出了不俗的性能，但加入 Gazetteers 后性能提高了 30%。希望这个数据集能够帮助研究人员建立更为健壮的命名实体识别系统。
Aug, 2022
本文研究低资源印度语言 Hindi 和 Marathi 的命名实体识别 (NER)，使用 base-BERT，RoBERTa 和 AlBERT 等变体进行了基准测试，并在不同单语和多语 Transformer 模型之间进行了详细比较，发现 MahaRoBERTa 单语模型在 Marathi NER 方面表现最佳，而多语言 XLM-RoBERTa 在 Hindi NER 方面表现最佳。文中还进行了跨语言评估和提出了简单基线。
Mar, 2022