PaDeLLM-NER：大型语言模型中的并行解码用于命名实体识别

Feb, 2024

PaDeLLM-NER：大型语言模型中的并行解码用于命名实体识别

PaDeLLM-NER: Parallel Decoding in Large Language Models for Named Entity Recognition

Jinghui Lu, Ziwei Yang, Yanjie Wang, Xuejing Liu, Can Huang

TL;DR该研究旨在通过大型语言模型（LLM）减少命名实体识别（NER）的生成延迟。通过并行解码技术，该方法在不需要额外模块或架构修改的情况下实现了对 NER 中所有提及的同时解码，从而提高了推理速度，同时保持了与最先进方法相当的预测质量。

Abstract

In this study, we aim to reduce generation latency for Named Entity Recognition (NER) with large language models (LLMs). The main cause of high latency in LLMs is the sequential decoding process, which autoregres

generation latency named entity recognition large language models parallel decoding inference speed

发现论文，激发创造

大型语言模型的无损加速通过自适应 N-gram 并行解码

通过引入自适应 N-gram 并行解码（ANPD），我们提出了一种创新的无损方法，可以在保持性能的同时加速推理。ANPD 采用两阶段方法，通过一种快速草稿阶段和验证阶段，使生成多个标记成为可能，从而提高处理速度并减少推理延迟。ANPD 消除了重新训练或额外 GPU 内存的需求，使其成为一种高效的即插即用增强技术。在实验中，LLaMA 等模型的速度改进达到了 3.67 倍，验证了我们提出的 ANPD 方法的有效性。

Apr, 2024

GPT-NER：基于大型语言模型的命名实体识别

本文介绍了一种基于 GPT 模型的 NER 算法 ——GPT-NER，它通过将序列标注任务转化为生成任务来弥补 LLMs 在 NER 任务上的缺陷，并提出自我验证策略以解决 LLMs 易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相当，在低资源学习中表现显着优于有监督模型，具有实现限制样本 NER 应用的能力。

Apr, 2023

NuNER：通过 LNN 标注数据进行实体识别编码器预训练

利用大型语言模型，本研究表明如何创建 NuNER，这是一种专注于命名实体识别（NER）任务的紧凑语言表示模型，可以进行低数据需求的微调，该模型在 few-shot 情景下胜过了类似大小的基础模型，并与更大的语言模型竞争。研究发现预训练数据集的大小和实体类型多样性是取得良好性能的关键。我们将 NuNER 视为最近由语言模型解锁的任务特定基础模型之一。

Feb, 2024

大型语言模型用于同时进行命名实体提取和拼写纠正

利用 Large Language Models (LLMs) 来从图片中的日语购物小票 OCR 文本中提取出命名实体，并自动纠正文本中存在的拼写错误。

Mar, 2024

为生成式语言模型进行知情命名实体识别解码

提出了一种简单而有效的方法，Informed Named Entity Recognition Decoding (iNERD)，将命名实体识别视为一种生成过程，利用近期生成模型的语言理解能力，并采用了基于信息提取的有限文本生成的解码方案，以提高性能和消除幻觉风险，我们在合并的命名实体语料库上训练了模型，评估了五个生成语言模型在八个命名实体识别数据集上的表现，并取得了显著的结果，特别是在未知实体类别集的环境中，展示了该方法的适应性。

Aug, 2023

APAR: LLMs 可以进行自动并行自回归解码

通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。

Jan, 2024

硬件感知并行提示解码用于 LLM 推理的内存高效加速

提出一种新颖的并行提示解码方法，仅需 $0.0002$% 的可训练参数，在 16 小时内可在单个 A100-40GB GPU 上进行高效训练，大大提高多令牌生成的接受率以及未来时间步骤的输出生成速度。

May, 2024

ProgGen: 使用自反大型语言模型逐步生成命名实体识别数据集

该研究论文探讨了一种创新、成本效益的策略，利用具有适度命名实体识别能力的大型语言模型（LLMs）生成优质的命名实体识别数据集，通过引导 LLMs 自我反思特定领域生成与领域相关的属性，并围绕这些实体构建上下文数据，从而绕过 LLMs 在复杂结构上的挑战。实验证明，相对于传统的数据生成方法，该方法在通用领域和利基领域都取得了显著的性能提升，并具有更好的成本效益。

Mar, 2024

具有判别校正的高度并行自回归实体链接

本文提出了一种高效的生成方法，采用并行自回归流程和浅层解码器实现实体消岐和链接，并增加了区分度组件，达到了比之前的方法更快（ >70 倍）更准确的效果，代码开源。

Sep, 2021

llmNER：利用大型语言模型的（零 | 少）样本命名实体识别

llmNER 是一个用于实现 LLMs 的零射击和少射击 NER 的 Python 库，通过提供易于使用的接口，llmNER 可以组合提示、查询模型，并解析 LLM 返回的完成结果。该库还通过提供简单的接口来测试多个变量，让用户可以高效地执行提示工程。我们在两个 NER 任务上验证了我们的软件，以展示该库的灵活性。llmNER 旨在推动上下文学习研究的界限，消除提示和解析步骤的障碍。

Jun, 2024