以 LLMs 作为人算法中的工作者？使用 LLMs 复制众包流程

Jul, 2023

以 LLMs 作为人算法中的工作者？使用 LLMs 复制众包流程

LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs

Tongshuang Wu, Haiyi Zhu, Maya Albayrak, Alexis Axon, Amanda Bertsch...

TL;DRLLMs 在模仿人的行为方面显示出了潜力，尤其是在之前被认为只有人类能够完成的众包任务。然而，当前的研究主要集中在简单的原子任务上。本研究探讨了 LLMs 是否能够模仿更复杂的众包流程。我们发现现代 LLMs 可以模拟某些众包工人的能力，但是成功的程度存在变异，并受到请求者对 LLMs 能力的理解、子任务所需的具体技能以及执行这些子任务的最佳互动模式的影响。我们讨论了人类和 LLMs 对指令的不同敏感性，并强调为 LLMs 提供面向人类的保障的重要性，同时探讨了培养人类和 LLMs 具备互补技能的潜力。关键是，我们展示了复制众包流程为研究 LLMs 在不同任务上的相对优势（通过对它们在子任务上的表现进行交叉比较）以及 LLMs 在复杂任务中的潜力，在这些任务中，它们可以完成部分任务而将其他任务留给人类。

Abstract

llms have shown promise in replicating human-like behavior in crowdsourcing tasks that were previously thought to be exclusive to human abilities. However, current efforts focus mainly on simple atomic tasks. We

llms crowdsourcing human computation algorithms interaction modality replicating crowdsourcing pipelines

发现论文，激发创造

动力加强！生成模型对人类计算工作流程能做什么？

本研究论文探讨了将大型语言模型应用于众包工作流程中的可行性，并提出了一种针对不同利益相关者的新工作流程设计模式。

Jul, 2023

人工人工人工智能：众包工作者广泛使用大型语言模型进行文本生成任务

本文研究 LLMs 对众包工人的影响，通过对在 Amazon Mechanical Turk 上运行的一个摘要任务，发现 33-46% 的众包工人使用了 LLMs，因此需要找到新的方法确保数据来源于人类本身。

Jun, 2023

硅众智慧：LLM 集合预测能力能媲美人工智能准确性

人类预测准确性依赖于 “群体智慧” 效应，即通过对一群个体预测者进行聚合，可以显著提高对未来事件的预测。本研究通过使用由 12 个大型语言模型（LLM）组成的群体，扩展了过去关于大型语言模型作为预测者的研究。结果表明，通过简单且实际可行的预测聚合方法，LLMs 能够获得与人类群体预测锦标赛相媲美的准确性，从而复制了 “群体智慧” 效应，为 LLMs 在社会各个领域的应用开辟了可能。

Feb, 2024

仿真：基于人类模仿的协作决策

提出和评估一种新颖的方法，在不依赖任何存储数据或预训练的情况下，在 LLM 代理之间进行知识蒸馏，以实时保留人类角色扮演中的独特语境，并评估我们的系统在模拟的真实世界任务中表现更好。

Mar, 2024

使用 LLMs 探索定性研究

本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

Jun, 2023

大型语言模型是否反映认知语言处理？

大型语言模型（LLM）在文本理解和逻辑推理方面表现出了非凡的能力，在多个认知任务中实现或甚至超过了人类水平的表现。本文提出了一种新的方法，通过将 LLM 表示与人类认知信号进行桥接，评估 LLM 在模拟认知语言处理方面的有效性。我们采用了表示相似性分析（RSA）来衡量 16 个主流 LLM 与脑部 fMRI 信号之间的对齐程度。实证研究调查了多种因素（如模型扩展、对齐训练、指令附加）对 LLM - 脑信号对齐的影响。实验结果表明，模型扩展与 LLM - 脑信号相似性呈正相关，对齐训练可以显著提高 LLM - 脑信号相似性。此外，广泛的 LLM 评估（如 MMLU，Chatbot Arena）的性能与 LLM - 脑信号相似性高度相关。

Feb, 2024

LLM 代理人是否表现出社会行为？

大型语言模型在社交科学研究和实际应用中的作用被不断拓展，然而在与人类和其他代理进行交互时，这些模型展现了一系列人类类似的社交行为，同时也存在一些行为差异，因此需要进一步研究和发展评估协议，以直接应用这些模型来模拟人类行为。

Dec, 2023

基于协作生成代理的 LLM 任务导向协调中人类行为互动模拟

应用大型语言模型（LLMs）在各种任务和社会模拟中取得了显著进展，但它们在任务导向的社会背景中的协调能力尚未得到充分探索。为了弥合这一差距，我们引入了协作生成代理，为基于 LLMs 的代理赋予一致的行为模式和解决任务的能力。我们将这些代理置于一个模拟的招聘会环境中进行案例研究，以审查它们的协调能力。我们提出了一个新颖的框架，赋予协作生成代理人类般的推理能力和专业技能。我们的评估结果表明，这些代理显示出有希望的性能。然而，我们也发现了限制，阻碍了它们在更复杂的协调任务中的效果。我们的工作对于 LLMs 在任务导向的社会模拟中的作用和发展提供了有价值的见解。

Oct, 2023

适应群众外包工作流程技术设计 LLM 链

通过调查 107 篇文献，我们构建了一个链式开发的设计空间来表征 LLM 链的机会，而通过三个案例研究我们发现了从众包工作流中转化到 LLM 链中的技术，并提出了对未来研究和发展的启示。

Dec, 2023

基于 LLMs 的贝叶斯统计建模

利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

Jun, 2024