预算内上下文学习：命名实体识别案例研究

Jun, 2024

预算内上下文学习：命名实体识别案例研究

In-Context Learning on a Budget: A Case Study in Named Entity Recognition

Uri Berger, Tal Baumel, Gabriel Stanovsky

TL;DR在有限的预算内，本研究通过研究不同方法选择样本进行注释，发现少样本内上下文学习（ICL）可以在命名实体识别（NER）任务中实现与使用完整训练集相当的结果，而随机选择样本进行注释可以获得出乎意料的良好性能，并且多样化的注释池与性能的提升相关，希望未来的工作将我们的现实范式纳入考量。

Abstract

few shot in-context learning (ICL) typically assumes access to large annotated training sets. However, in many real world scenarios, such as domain adaptation, there is only a limited budget to annotate a small n

few shot in-context learning annotated training sets domain adaptation named entity recognition annotation budget

发现论文，激发创造

上下文学习的少样本嵌套命名实体识别

我们提出了一个有效和创新的 ICL 框架，用于少样本嵌套命名实体识别，通过设计一种新颖的示例演示选择机制 EnDe 检索器，我们通过对比学习进行语义相似性、边界相似性和标签相似性的三类表示学习来生成高质量的演示示例，在三个嵌套 NER 和四个平面 NER 数据集上的大量实验表明我们系统的有效性。

Feb, 2024

少量的注释带来大量的好处：低资源命名实体识别器自举的研究

该研究探讨了在资源匮乏的语言中高效创建高质量实体识别器的最有效方法，通过运用跨语言转移、有针对性注释同属于两种策略的方法，实现在小数据集下快速精确识别实体的结果。

Aug, 2019

一种用于小样本命名实体识别的统一标签感知对比学习框架

我们提出了统一的标签感知令牌级对比学习框架，通过利用标签语义作为后缀提示来丰富上下文，同时优化上下文 - 上下文和上下文 - 标签对比学习目标，从而提高推广辨别性的上下文表示。广泛的实验表明我们的方法在各种传统测试领域和大规模少样本 NER 数据集上优于先前的最先进模型，微粒 F1 分数平均绝对增益达到 7%。进一步的分析揭示了我们模型受益于其强大的迁移能力和改进的上下文表示。

Apr, 2024

选择哪些示例进行上下文学习？实现有效和高效的选择

通过提出 AdaICL 算法，本研究在大型语言模型中探索了一种基于主动学习的方法，通过优化自适应的示例选择策略，提高了性能和预算效率。

Oct, 2023

P-ICL：大型语言模型的点上下文学习用于命名实体识别

本文提出了一种新的提示框架 P-ICL，通过利用一些点实体作为辅助信息实现更精确的大型语言模型（LLMs）实体分类，并提出了基于 K-Means 聚类的点实体选择方法。在一些代表性的命名实体识别基准测试中，我们的实验证实了 P-ICL 和点实体选择策略的有效性。

May, 2024

少样本命名实体识别：综合研究

本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

Dec, 2020

C-ICL: 对比上下文学习的信息抽取

使用 c-ICL 方法，通过整合正确和错误的示例构造，通过使用正确的示例以及最近的正类示例，通过上下文学习展示来提高大型语言模型在信息提取方面的性能。

Feb, 2024

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

基于示例的命名实体识别

我们提出了一种新的名词实体识别方法，称为基于示例的实体识别，在缺乏数据的情况下通过受到问答启发，使用少量支持示例来识别新领域中的实体范围，与当前最先进的方法相比，该方法表现出更好的性能，特别是在使用少量支持示例时。

Aug, 2020

面向命名实体识别的上下文学习

本研究提出了一种基于上下文学习的命名实体识别方法，通过 PLMs 中的元函数，仅使用少量的示例即可识别新类型的实体，并使用元函数预训练算法将上下文 NER 能力注入 PLMs，实验证明该方法可以显著优于 PLMs + 微调对照组。

May, 2023