Jan, 2024

大型语言模型不是你所需的全部

PDF
TL;DR本文描述了解决 SemEval 2023 Task 2：MultiCoNER II（多语言复杂命名实体识别）问题所构建的体系结构和系统。我们评估了两种方法：传统的条件随机场模型和经过自定义头部微调的大型语言模型（LLM），并比较了这两种方法。我们探索的新想法有：1）衰减辅助损失（带剩余项）- 在模型上训练粗粒度 NER 的辅助任务并将其包括在损失函数的一部分中；2）三元标记混合 - 探索在最终 NER 层中预测之前混合相邻标记的嵌入方式；3）任务最优头部 - 探索各种用于 LLM 最终层的自定义头部和学习率。我们还尝试了多个 LLM，包括 GPT-3，并在最终模型中使用了多种 dropout 和其他超参数设置，该模型在开发数据上达到了 0.85/0.84 的微观和宏观 F1 值，并在测试数据上达到了 0.67/0.61。我们证明，虽然预训练的 LLM 本身相对传统模型带来了很大的改进，但通过上述额外特征 / 损失 / 模型工程技术的增强，我们还可以显著提高宏观 F1 分数。
semeval 2023 task 2multiconer iiconditional random fieldslarge language modelcomplex named entity recognition
发现论文，激发创造
  • LTNER：基于上下文实体标记的大型语言模型命名实体识别

    LLMs 在自然语言处理中的应用已成为近两年的热门趋势，然而，对于某些 NLP 任务，如 NER，在与监督学习方法相比较时，LLMs 的性能仍然不足以胜任。我们的研究开发了一种名为 LTNER 的 NER 处理框架，该框架融入了一种革命性的上下文化实体标记生成方法，通过利用成本效益高的 GPT-3.5 以及无需额外训练的上下文学习，显著提高了 LLMs 在处理 NER 任务时的准确性。在 CoNLL03 数据集上的 F1 得分从初始的 85.9% 增加到 91.9%，接近了监督微调的性能，这一结果增进了对 LLMs 潜力的深入认识。

    Apr, 2024

  • 多语言大型语言模型与多语言性诅咒

    多语言大型语言模型在自然语言处理领域的研究人员和从业者中广受欢迎。本文介绍了多语言大型语言模型的技术方面，并对其底层架构、目标函数、预训练数据来源和分词方法进行了概述。此外，还探讨了不同模型类型的独特特征，包括仅编码器模型、仅解码器模型和编码器 - 解码器模型。同时，还讨论了多语言大型语言模型的一个重要局限性，即多语言之间的相互影响问题，并探究了克服这一问题的当前尝试。

    Jun, 2024

  • LinkNER: 使用不确定性将本地命名实体识别模型与大型语言模型连接

    通过将小型微调模型与大型语言模型（LinkNER）结合、以及一种基于不确定性的链接策略（RDC），以提高 NER 任务性能并在鲁棒性测试中明显超过 SOTA 模型，我们量化分析了关键组件如不确定性估计方法、大型语言模型和上下文学习对各种 NER 任务的影响，提供了具体的与网络相关的建议。

    Feb, 2024

  • 大型语言模型用于同时进行命名实体提取和拼写纠正

    利用 Large Language Models (LLMs) 来从图片中的日语购物小票 OCR 文本中提取出命名实体，并自动纠正文本中存在的拼写错误。

    Mar, 2024

  • LLM-RM 在 SemEval-2023 任务 2 中的应用：利用 XLM-RoBERTa 进行多语言复杂命名实体识别

    通过在所有提供的 12 种语言数据集上微调 XLM-Roberta 基础模型，利用跨语言表示方法解决 NER 多语言复杂命名实体识别任务，达到 SemEval 2023 任务 2 的最佳表现。

    May, 2023

  • 用于多生成器、多领域和多语言机器生成文本检测的细调大型语言模型

    SemEval-2024 Task 8 引入了识别多语言和领域中大型语言模型（LLMs）生成的机器文本的挑战。本文关注于二元分类和多类分类的子任务，并通过传统机器学习和自然语言处理进行特征提取以及基于 LLMs 进行文本分类的两种方法进行解决，结果显示变压器模型，尤其是 LoRA-RoBERTa，在多语言环境中使用多数表决方法能够高效地识别机器生成的文本。

    Jan, 2024

  • 利用多语言 Transformer 使用伪标签增强多语言和代码混合的复杂命名实体识别 —— 在 SemEval-2022 任务 11 中的 UM6P-CS 模型

    使用多语言 Transformer XLM-RoBERTa 的上下文化表示来处理多语言和混合编码查询的复杂 NER 任务，通过 CRF 的标记分类层和拾取来捕获命名实体范围和使用自我培训机制从大型未标记数据集生成弱标注数据。在 Multilingual Complex Named Entity Recognition 的共享任务中，我们的提出的系统在多语言和混合编码 MultiCoNER 的追踪中分别排名第 6 和第 8。

    Apr, 2022

  • GPT-NER：基于大型语言模型的命名实体识别

    本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER，它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷，并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相当，在低资源学习中表现显着优于有监督模型，具有实现限制样本 NER 应用的能力。

    Apr, 2023

  • NuNER：通过 LNN 标注数据进行实体识别编码器预训练

    利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

    Feb, 2024

  • 大型语言模型在扩展口语理解系统到新语言方面的应用

    介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

    Apr, 2024