通过LLM驱动的主动学习和人工标注来增强文本分类
通过验证人类生成的标签,我们提出了一种工作流程,以有效利用LLM的注释潜力,然后使用GPT-4复制27个注释任务,发现文本注释的LLM性能很有前途,但高度依赖数据集和注释任务类型,从而强调了必须逐任务验证的必要性。我们提供易于使用的软件,用于实现我们的工作流程,以便自动化注释的LLM部署。
May, 2023
使用5种最先进的大型语言模型(LLMs)作为“标注者”在多个任务上进行评估,并比较其与人类标注的优缺点。总体而言,尽管LLMs在某些任务上表现出色,但它们无法替代人类标注的需求。
Jul, 2023
通过使用大型语言模型作为注释者,并将其放入主动学习循环中,我们提出了LLMaAA方法,充分发挥大型语言模型的潜力并有效利用大量无标签数据,提高效率和可靠性,并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。
Oct, 2023
基于四个不同领域的实验结果,本研究发现,小模型在专家注释的情况下能够以较少标注数据的情况下胜过GPT-3.5,并且与GPT-4在性能上达到或超过其,尽管小模型的规模只有后者的百分之一。因此,我们认为在真实世界的应用中,大型语言模型的预测结果可以作为预热方法,并且通过领域专家的数据注释,实现任务的成功。
Nov, 2023
使用大型语言模型(GPT-3.5和GPT-4)进行标注,研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略,将可能标注错误的样本与人工注释相结合,可以在AG新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果,证明了大型语言模型在主动学习中的准确性和成本效益。
Jan, 2024
我们评估了多种模型,包括传统机器学习模型、预训练语言模型和大型语言模型,比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明,使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果,并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。
Mar, 2024
通过在主动学习环路中利用LLM的潜力进行数据标注,我们的提议在极低的数据需求下显著提高了性能,为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟,促进更广泛的包容,并有潜力在不同的语言环境中实现自动化。
Apr, 2024
利用大型语言模型的数据清洗策略,通过模拟人工注释和分类不相关文档,我们改进了Multi-News数据集,提高了数据集质量,而无需依赖昂贵的人工注释工作。
Apr, 2024
使用生成的大型语言模型生成的标签对监督文本分类模型进行微调,与使用人工标注的标签相比表现相当,是一种快速、高效和经济有效的构建监督文本分类器的方法。
Jun, 2024