Feb, 2024
NuNER：通过LNN标注数据进行实体识别编码器预训练
NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data
TL;DR利用大型语言模型，本研究表明如何创建NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在few-shot情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将NuNER视为最近由语言模型解锁的任务特定基础模型之一。