该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

Jun, 2024

大型语言模型（LLMs）可比人类更快速和廉价地对各种 NLP 任务进行数据标注。然而，LLMs 在理解复杂的社会文化或领域特定的上下文方面可能存在问题，导致错误的标注。因此，我们主张人类和 LLMs 合作的方法，以产生可靠和高质量的标签。我们介绍了 MEGAnno+，这是一个人 - LLM 协作标注系统，提供了有效的 LLM 代理和标注管理、便捷和稳健的 LLM 标注，以及人类对 LLM 标签的探索性验证。

Feb, 2024

使用大规模语言模型和人工标注相结合的新范式 CoAnnotating，在未标注的文本上进行人工标注和语言模型标注，以达到更好的质量和成本效益。

Oct, 2023

通过在主动学习环路中利用 LLM 的潜力进行数据标注，我们的提议在极低的数据需求下显著提高了性能，为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟，促进更广泛的包容，并有潜力在不同的语言环境中实现自动化。

Apr, 2024

通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

Apr, 2024

使用大型语言模型（LLMs）结合人类专家的方法，快速生成医疗文本注释的地面真实标签，从而减少人工注释负担并保持高准确性，为医疗健康领域的定制自然语言处理（NLP）解决方案提供了潜力。

Dec, 2023

本文论述大型语言模型的出现产生了对定制机器学习模型的革命，并引发了有关重新定义数据要求的讨论，讨论和期望，即在监督学习时代，人类水平标记干预的重要性可能不再具有相同的重要性，并提出支持在 LLM 时代继续使用人工标记数据的有力论点。

Jun, 2023

本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

Jun, 2023

通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

May, 2023

本文提出了对大型语言模型（LLMs）的可靠、可重复和符合伦理的使用的全面标准和最佳实践，涵盖了模型选择、提示工程、结构化提示、提示稳定性分析、严格的模型验证以及伦理和法律影响等关键领域，强调了对 LLMs 的结构化、有导向性和格式化的使用的需求，以确保文本注释实践的完整性和鲁棒性，并倡导在社会科学研究中对 LLMs 进行细致而批判性的参与。

Feb, 2024