Nov, 2023

评估 LLM 代理人群体动态与人类群体动态：基于党派群体智慧的案例研究

PDF
TL;DR本研究探讨了大型语言模型（LLMs）在模拟人类群体动态方面的潜力，特别是在政治上充满挑战性的背景下。我们使用 LLMs 复制了党派群体智慧现象，扮演民主党和共和党角色进行结构化互动，评估代理人的回应如何通过社会影响来演变。我们的主要发现表明，扮演具体人物并且没有链式思考的 LLM 代理人与人类行为紧密一致，而有链式思考则损害了一致性。然而，将明确的偏见纳入代理人提示并不一定增强党派群体的智慧。此外，用人类数据对 LLMs 进行微调显示出实现类似人类行为的潜力，但存在过度拟合特定行为的风险。这些发现展示了在模拟人类群体现象时使用 LLM 代理人的潜力和局限性。
发现论文，激发创造
  • 辩论中 LLM 仿真的系统偏差

    近期自然语言处理的进展，特别是大型语言模型（LLMs）的出现，为构建精确复制人类行为的计算模拟提供了令人兴奋的可能性。然而，LLMs 是复杂的统计学习器，缺乏直接的演绎规则，因此容易产生意想不到的行为。本研究突出了 LLMs 在模拟人类互动方面的局限性，特别关注 LLMs 在模拟政治辩论方面的能力。我们的发现表明，尽管被指示从特定的政治角度进行辩论，LLM 代理倾向于符合模型固有的社会偏见。这种倾向导致了行为模式的偏离，似乎偏离了人类之间已经确立的社会动力学规律。我们使用了一种自动自我微调方法来强化这些观察结果，该方法使我们能够操纵 LLM 内的偏见，并展示代理随后与改变后的偏见保持一致。这些结果强调了进一步研究的必要性，以开发帮助代理克服这些偏见的方法，是创造更现实模拟的关键一步。

    Feb, 2024

  • 硅众智慧：LLM 集合预测能力能媲美人工智能准确性

    人类预测准确性依赖于 “群体智慧” 效应，即通过对一群个体预测者进行聚合，可以显著提高对未来事件的预测。本研究通过使用由 12 个大型语言模型（LLM）组成的群体，扩展了过去关于大型语言模型作为预测者的研究。结果表明，通过简单且实际可行的预测聚合方法，LLMs 能够获得与人类群体预测锦标赛相媲美的准确性，从而复制了 “群体智慧” 效应，为 LLMs 在社会各个领域的应用开辟了可能。

    Feb, 2024

  • 超越人口统计学：利用人类信念网络对饰演角色的基于 LLM 的代理进行对齐

    通过整合从实证人类信念网络中提取的信息，本研究评估了如何改进基于人类行为的大型语言模型（LLM）与人类行为的一致性，结果表明在模拟和理解社会信念分布模式的工作中，将 LLM 代理与单一信念进行关联会显著提高对相关主题的一致性。

    Jun, 2024

  • 基于 LLM 代理的网络观点动力学模拟

    准确模拟人的观点动态对于理解各种社会现象至关重要，包括极化和误信息传播。我们提出了一种基于大型语言模型的人口多智能体模拟观点动态的新方法。我们的发现揭示出语言模型智能体存在对准确信息的固有偏差，导致在科学现实中产生共识。然而，该偏差限制了模拟对气候变化等问题持有抵制观点的个体。在通过启动工程引入确认偏见后，我们观察到观点分裂的情况与现有的多智能体研究一致。这些见解突显了在该领域中大型语言模型智能体的前景和局限，并提出了未来发展路径：通过与真实世界的话语相结合，完善语言模型，以更好地模拟人类信念的演变。

    Nov, 2023

  • LLM 代理人是否表现出社会行为？

    大型语言模型在社交科学研究和实际应用中的作用被不断拓展，然而在与人类和其他代理进行交互时，这些模型展现了一系列人类类似的社交行为，同时也存在一些行为差异，因此需要进一步研究和发展评估协议，以直接应用这些模型来模拟人类行为。

    Dec, 2023

  • 大型语言模型在与人类辩论的局限性

    当前的研究论文测试了大型语言模型（LLMs）的可行性，作为人工代理人参与社会学实验中的对话活动，揭示了 LLMs 在辩论中的限制，以及其对人类的影响和能力。

    Feb, 2024

  • 大型语言模型作为增强式民主的代理

    通过利用 TensorFlow 生成模型（LLMs）预测个体偏好和整体偏好，我们对 2022 年巴西总统选举期间收集的 67 项政策提案的数据进行训练和测试，发现 LLMs 在个体层面上的预测准确率为 69% 到 76%，并对自由派和大学教育程度较高的参与者有明显的优势；在整体层面上，借助 Borda score 对偏好进行汇总，我们发现通过 LLMs 进行增强的数据能够更好地预测整个参与人群的偏好，尤其是在随机样本仅代表总人口不超过 30% 到 40% 的情况下，这些结果表明 LLMs 在增强民主系统的构建中具有潜在的用途。

    May, 2024

  • 基于协作生成代理的 LLM 任务导向协调中人类行为互动模拟

    应用大型语言模型（LLMs）在各种任务和社会模拟中取得了显著进展，但它们在任务导向的社会背景中的协调能力尚未得到充分探索。为了弥合这一差距，我们引入了协作生成代理，为基于 LLMs 的代理赋予一致的行为模式和解决任务的能力。我们将这些代理置于一个模拟的招聘会环境中进行案例研究，以审查它们的协调能力。我们提出了一个新颖的框架，赋予协作生成代理人类般的推理能力和专业技能。我们的评估结果表明，这些代理显示出有希望的性能。然而，我们也发现了限制，阻碍了它们在更复杂的协调任务中的效果。我们的工作对于 LLMs 在任务导向的社会模拟中的作用和发展提供了有价值的见解。

    Oct, 2023

  • 我们中的语言生成机器人：生成型人工智能参与数字交流

    在 Mastodon 社交媒体平台上，我们使用了 “LLMs Among Us” 实验框架构建了 10 个角色来研究大型语言模型的潜力和威胁，发现参与者只有 42% 的准确率能识别出其他用户的真实性。此外，我们还发现角色的选择对于人的感知影响比主流大型语言模型的选择更大。

    Feb, 2024

  • 明示和隐示的大型语言模型角色生成意见，但无法复制更深层次的认知和偏见

    通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

    Jun, 2024