该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

Jun, 2024

我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

Mar, 2024

通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

May, 2023

使用 5 种最先进的大型语言模型（LLMs）作为 “标注者” 在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管 LLMs 在某些任务上表现出色，但它们无法替代人类标注的需求。

Jul, 2023

通过对 769 份乳腺癌病理报告进行人工标注的数据集的研究，我们比较了 GPT-4 模型和 GPT-3.5 模型的零样本分类能力与三种模型架构的监督分类性能，发现 GPT-4 模型在所有 13 个任务中要么显著优于要么与最佳监督模型的 LSTM-Att 模型相当（平均宏 F1 得分为 0.83 vs. 0.75）。研究还表明，如果难以使用大规模标注数据集，LLMs 可以减轻数据标注的负担，但使用带有大规模标注数据集的简单监督模型也可以提供可比较的结果，LLMs 可以加快临床自然语言处理研究的执行速度，提高 NLP 变量和结果在临床观察研究中的利用率。

Jan, 2024

该研究提出了一种名为 DSL 的算法，旨在使用从 LLMs 获得的输出进行下游统计分析，同时保证 CSS 研究所需要的统计特性，这种算法运用了双重鲁棒性流程将代理标签与少量的金标准标签相结合，从而保证有效的统计推断。

Jun, 2023

该论文介绍了一种利用大型语言模型（LLM）进行文本监督语义分割的新方法，该方法通过生成更准确的类别表示来提供多样化的分割结果，并通过合并不同的子类描述符的分割图确保对测试图像的更全面的表示。经过三个标准基准的全面实验，我们的方法比传统的文本监督语义分割方法表现出更好的性能。

Mar, 2024

本研究探讨了利用大型语言模型 (Large Language Models，LLMs) 作为计算社会科学 (Computational Social Science，CSS) 工具的可行性。结果表明，LLMs 可以作为零 - shot 数据注释工具或是用于启动具有挑战性的生成任务，并可以极大地提高社会科学分析的效率和降低成本。

Apr, 2023

使用大型语言模型进行数据增强，减少高置信度错误分类，并与人类数据进行比较，以降低成本并保持同样的准确性。

Mar, 2024

LLM 预训练模型通过精心选择文档，可以在仅使用部分 FLOPs 的情况下实现与完整训练相当的模型质量；通过使用提示的 LLM 作为文档评分器，我们将质量标签提取并应用于大规模的互联网抓取数据集，以自动筛除部分文档，从而更好地匹配性能，并通过在上下文中学习来提高标签模型的性能。

Jun, 2024