我们的研究显示，在人群工作者中普遍使用大型语言模型 (LLM)，而有针对性的缓解策略可以显著降低 LLM 的使用，但不能完全消除。在一个文本摘要任务中，未对工作者在任何方面指示 LLM 的使用，估计 LLM 的使用普遍程度约为 30％，但通过要求工作者不使用 LLM 和提高使用 LLM 的代价（例如禁用复制粘贴）减少了约一半。副本分析进一步揭示了 LLM 的使用及其预防的见解：LLM 的使用产生高质量但同质化的回答，可能会损害关注人类（而非模型）行为的研究并降低以众包数据进行训练的未来模型的质量。同时，防止 LLM 的使用可能与获取高质量回答的目标相悖；例如，要求工作者不使用 LLM 会导致摘要中的关键字数量减少，从而丢失了关键信息。我们的估计可能随着 LLM 的普及或能力的增加以及其使用方式的变化而改变。然而，在广泛采用之前，了解基于 LLM 的工具和用户的共同演变对于维护使用众包进行的研究的有效性至关重要，我们提供了一个重要的基线。

Oct, 2023

本研究论文探讨了将大型语言模型应用于众包工作流程中的可行性，并提出了一种针对不同利益相关者的新工作流程设计模式。

Jul, 2023

本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

Mar, 2023

通过对现有众包数据集进行评估，从不同的角度研究了个体众包标签和大语言模型标签的质量，提出了一种众包 - 大语言模型混合标签聚合方法并验证了其性能，发现将优质大语言模型的标签与现有众包数据集相结合能提高数据集的聚合标签质量，且高于大语言模型标签自身的质量。

Jan, 2024

利用 LLMs 作为交互式研究工具，促进人类编码员与人工智能之间的合作，有效地标记大规模在线风险数据。

Apr, 2024

人类预测准确性依赖于 “群体智慧” 效应，即通过对一群个体预测者进行聚合，可以显著提高对未来事件的预测。本研究通过使用由 12 个大型语言模型（LLM）组成的群体，扩展了过去关于大型语言模型作为预测者的研究。结果表明，通过简单且实际可行的预测聚合方法，LLMs 能够获得与人类群体预测锦标赛相媲美的准确性，从而复制了 “群体智慧” 效应，为 LLMs 在社会各个领域的应用开辟了可能。

Feb, 2024

通过验证人类生成的标签，我们提出了一种工作流程，以有效利用 LLM 的注释潜力，然后使用 GPT-4 复制 27 个注释任务，发现文本注释的 LLM 性能很有前途，但高度依赖数据集和注释任务类型，从而强调了必须逐任务验证的必要性。我们提供易于使用的软件，用于实现我们的工作流程，以便自动化注释的 LLM 部署。

May, 2023

利用大型语言模型 (LLMs) 的增强功能，扩展人文社会科学领域的数据分析，用于量化、自动化以前需要人工进行的定性分析任务。本文提出了一种系统的混合方法框架，结合了定性分析专业知识、机器可扩展性和严格的量化分析，同时注重透明度和可复制性。通过 16 个机器辅助案例研究作为概念验证，展示了该框架的应用，涉及的任务包括语言和话语分析、词汇语义变化检测、访谈分析、历史事件因果推断和文本挖掘、政治立场检测、文本和思想重用、文学和电影的流派构成、社交网络推断、自动词典编纂、丢失的元数据补充以及多模态视觉文化分析。与现有 LLM 应用文献的英语重点不同，这里的例子涉及较小语言和易于数字化失真的历史文本场景。除了需要专业知识的最困难的任务外，生成 LLMs 可以作为可行的研究工具。LLM (和人工) 标注可能包含错误和变化，但协议率可以在后续统计建模中考虑；文章还讨论了一个引导式方法。案例研究的复制实验证明，以前需要团队努力和复杂计算管道才能完成的任务，现在可以由辅助 LLM 的学者在更短的时间内完成。重要的是，这种方法旨在增强研究者的知识和技能，而不是取代它们。鉴于这些机会，定性专业知识和提出有深度问题的能力无疑变得更加关键。

Sep, 2023

本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

Jun, 2023

通过比较概述了 12 个研究探索了大型语言模型在数据标注方面的潜力，同时揭示了存在的限制，如表征性、偏见、对提示变化的敏感性和对英语的偏好。利用这些研究的见解，我们的实证分析在四个主观数据集上进一步检查了人类和生成的 GPT 意见分布之间的一致性，从而支持了少数研究在评估数据标注任务时考虑多元化观点的方法，并强调了在这个方向上进一步研究的必要性。

May, 2024