想要降低标注成本？GPT-3 可以帮忙

EMNLPAug, 2021

想要降低标注成本？GPT-3 可以帮忙

Want To Reduce Labeling Cost? GPT-3 Can Help

Shuohang Wang, Yang Liu, Yichong Xu, Chenguang Zhu, Michael Zeng

TL;DR本文研究了利用 GPT-3 作为低成本数据标注器来训练其他模型的方法，发现使用 GPT-3 相比使用人工标签可节省 50% 到 96% 的成本，并提出了一种将 GPT-3 的伪标签与人类标签相结合的框架，可实现更好的表现。

Abstract

data annotation is a time-consuming and labor-intensive process for many nlp tasks. Although there exist various methods to produce pseudo data labels, they are often task-specific and require a decent amount of

data annotation nlp gpt-3 few-shot learning data labeling

发现论文，激发创造

GPT-3 是一个好的数据标注器吗？

本研究旨在评估 GPT-3 作为数据标注器的性能，比较其与传统数据标注方法的差异以及分析其在一系列任务上的输出。通过这种分析，研究人员旨在提供关于 GPT-3 作为 NLP 通用型数据标注器的潜力的见解。

Dec, 2022

AnnoLLM: 使大型语言模型成为更好的众包注释工具

本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

Mar, 2023

语言模型是少样本学习器

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

利用 GPT-3 扩充数据，提高短文本分类的性能

该研究针对 GPT-3 模型训练数据不足的问题，通过自动生成的样本增强小型训练集，在数据科学相关问题分类任务中比较了两种分类器的效果，证明了给予大型机器学习模型如 GPT-3 自己提出附加训练示例可以提高分类性能的结论。

May, 2022

AI 中的 AI：探索 GPT 作为 AI 出版物专家注释工具的实用性

使用 GPT 聊天机器人模型进行有效的提示工程，可以将聊天机器人用作可靠的数据标注工具，从而实现基于人工智能的科学出版物的自动标注，其准确率达到 94%。用 GPT 标注的数据训练的分类器在性能上优于 arXiv 训练的模型，达到 82% 的准确率。

Mar, 2024

GPT 是用于序列生成任务的多语言注释器

通过利用大语言模型，该研究提出了一种自主注释方法，不仅高效而且适用于资源有限的语言，同时构建了一个图片字幕数据集并公开了源代码供进一步研究和可复现性。

Feb, 2024

GPT3Mix：利用大规模语言模型进行文本增强

本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

Apr, 2021

ChatGPT 是否能够复现人类生成的标签？社交计算任务的研究

该研究探讨了 ChatGPT 等大型语言模型是否有潜力在社交计算任务中复制人类生成的标签注释，并使用 ChatGPT 重新标注了五个具有里程碑意义的数据集，证明了它在数据注释方面具有潜力，但仍存在挑战。

Apr, 2023

机器生成指令的效果

机器生成的注释是一种资源和成本效益高的微调下游模型的方式。

Dec, 2023

利用质量加权的弱监督自动标注共同提高语言理解和生成能力

本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

Feb, 2021