Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

May, 2022

Few-shot Fine-tuning 的构建：以命名实体识别为例进行语言模型预训练的试验研究

Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition

Zihan Wang, Kewen Zhao, Zilong Wang, Jingbo Shang

TL;DR本篇研究提出了一种基于预训练模型且更贴近预训练目标的新型 few-shot fine-tuning 框架 FFF-NER，应用于命名实体识别任务上，经过一系列实验及消融研究，确认其比现有序列标记、原型元学习和提示式方法等现有方法能够更有效改善 NER 性能。

Abstract

fine-tuning pre-trained language models has recently become a common practice in building NLP models for various tasks, especially few-shot tasks

fine-tuning pre-trained language models few-shot tasks named entity recognition fff-ner

发现论文，激发创造

少样本命名实体识别：综合研究

本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

Dec, 2020

让预训练语言模型成为更好的少样本学习者

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

TOKEN 是 MASK：预训练语言模型下的少样本命名实体识别

本文提出了一种利用预训练语言模型进行跨领域适应的轻量级的 few-shot 近似算法，将知识从一个领域转移到另一个领域以优化实体识别性能。实验结果表明，与最先进的基线相比，本方法可以提高 2-5% 的 F1-score。

Jun, 2022

基于大规模标签解释学习的少样本命名实体识别

利用自然语言描述学习实体类型解释，通过大规模扩展实体类型和描述，可以显著提高零样本和少样本命名实体识别。

Mar, 2024

应对 Few-shot 命名实体识别中的重复训练和样本依赖问题的研究

我们的研究提出了一个改进的少样本命名实体识别流程，利用预训练的跨领域跳板标识检测器和大规模语言模型，有效减少了基本特征的重复训练，同时消除了对少样本的依赖，通过广泛的实验表明，在各种数据集上，我们的模型在细粒度少样本命名实体识别方面胜过基线模型，包括 ChatGPT。

Jun, 2024

一种基于 Transformer 的零样本和少样本生物医学命名实体识别方法

本论文提出了一种基于 transformer 的方法来解决在生物医学领域中监督命名实体识别（NER）的挑战，包括零样本和少样本 NER。该方法基于将多类令牌分类的任务转化为二进制令牌分类，并在更多数据集和医学实体上预训练，从中可以学习给定实体和潜在类之间的语义关系。使用 PubMedBERT 调整模型进行的实验结果表明，该方法具有识别有限样本中的新实体的能力，对于零样本 NER 的平均 F1 得分达到 35.44％，对于 10 样本和 100 样本 NER 的平均 F1 得分分别为 69.94％和 79.51％。该方法可与目前的先进零样本和少样本 NER 方法相媲美甚至更好。

May, 2023

从语言描述中学习：基于分解框架的低样本命名实体识别

该研究提出了一个基于预训练语言模型的新型 NER 框架：SpanNER，在低资源环境下的 few-shot 学习、领域转移和 zero-shot 学习设置中，可以识别从未出现的实体类，通过实验可知其相比于最佳基准线平均能提高 10％，23％和 26％。

Sep, 2021

无需模板的少样本命名实体识别指令微调

本文提出了一种更优雅的方法，将 NER 任务重新制定为 LM 问题，同时探索了自动搜索合适的标签词的方法，该方法避免了复杂的基于模板的过程，并且实验证明其在少量样本情况下表现更佳，并且解码速度比基于模板的方法快了 1930.12 倍。

Sep, 2021

PromptNER: 命名实体识别提示

本文介绍了 PromptNER 算法，将大型语言模型与有限训练样本相结合，实现跨领域、少量样本下的命名实体识别任务，相对于传统方法，取得了十分显著的性能提升。

May, 2023

一种用于小样本命名实体识别的统一标签感知对比学习框架

我们提出了统一的标签感知令牌级对比学习框架，通过利用标签语义作为后缀提示来丰富上下文，同时优化上下文 - 上下文和上下文 - 标签对比学习目标，从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型，微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。

Apr, 2024