本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

Mar, 2023

本文通过简单的提示使用 GPT-4 和 ChatGPT 增强有限的标注语料库，用于三种不同的分类任务，在低资源环境中通过生成的合成样本，测试了两种扩充策略：一种是维护原始标签分布，另一种则是平衡分布，实验发现，合成数据有助于实现很好的下游任务效果和极少见类别的识别。

Apr, 2023

通过验证人类生成的标签，我们提出了一种工作流程，以有效利用LLM的注释潜力，然后使用GPT-4复制27个注释任务，发现文本注释的LLM性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的LLM部署。

May, 2023

本文评估了生成式预训练转换(GPT-4)对高度专业领域的文本数据分析任务的能力，特别关注分析法院裁决以解释法律概念的任务。我们发现，在注释指南的提示下，GPT-4的表现与经过良好培训的法律学生注释器相当。我们发现，虽然性能略有下降，但GPT-4可以进行批量预测，从而降低成本。然而，采用连贯思维提示并没有在此任务上明显提高性能。此外，我们演示了如何分析GPT-4的预测，以识别和减轻注释指南的缺陷，进而提高模型的性能。最后，我们观察到该模型非常脆弱，因为提示中的小型格式相关更改对预测结果影响很大。这些发现可被从事高度专业领域任务的文本语义/语用注释的研究人员和实践者利用。

Jun, 2023

大型语言模型（LLM）在理解和生成文本数据方面非常强大，但容易出错。本文提出了一种声明性提示工程方法，将LLM视为众包工作者，并借鉴了声明性众包文献的思想，包括多种提示策略、确保内部一致性和探索混合LLM-非LLM方法，使提示工程过程更加有原则。在排序、实体解析和插补方面的初步案例研究展示了我们方法的优势。

Aug, 2023

通过GPT-4注释的数据进行文本相似性测量的Sim-GPT方法是本文的核心内容，该方法通过使用GPT-4生成带有STS标签的数据来训练STS模型，填补了STS训练信号缺乏的空白。通过BERT或RoBERTa作为主干，在GPT-4的例子（371K）上训练的Sim-GPT在七个广泛使用的STS基准测试中表现出SOTA水平，与有监督SimCSE相比提高0.99，并且超过当前SOTA PromCSE模型0.42。为了鼓励该领域的进一步发展，我们发布了模型和GPT-4的371K个带注释的例子。

Dec, 2023

通过自动调整输入提示，提高ChatGPT对文本分类的性能

Jan, 2024

数据标注是提高机器学习模型效果的标记或标签化原始数据的过程，使用大型语言模型（LLMs）可以革新和自动化数据标注过程。本研究着重于LLM在数据标注中的特定用途，探讨了LLM基于数据标注、评估LLM生成的标注以及使用LLM生成的标注进行学习的方法。此外，还提供了LLM在数据标注中的方法学分类、包含LLM生成标注的模型的学习策略综述，并详细讨论了使用LLM进行数据标注所面临的主要挑战和限制。本文旨在为研究人员和从业者指导利用最新的LLMs进行数据标注，推动该关键领域的未来发展。

Feb, 2024

通过建立提示的结构化理解，本文通过整理提示技术的分类法和分析其使用，提供了33个词汇术语、58种文本提示技术以及40种其他模态的技术，还对自然语言前缀提示的整个文献进行了元分析。

Jun, 2024

大型语言模型在社会科学文本标注任务中应用广泛，其性能超过人类工作者且成本更低。然而，我们以往对选择提示对标注准确性的影响尚未进行过研究。在本研究中，我们展示了性能在不同提示之间存在巨大差异，并运用自动提示优化的方法系统地设计出高质量提示。同时，我们还提供了一个简单的基于浏览器实现的方法链接给社区。

Jul, 2024