Jun, 2024

超越人口统计学：利用人类信念网络对饰演角色的基于 LLM 的代理进行对齐

PDF
TL;DR通过整合从实证人类信念网络中提取的信息，本研究评估了如何改进基于人类行为的大型语言模型（LLM）与人类行为的一致性，结果表明在模拟和理解社会信念分布模式的工作中，将 LLM 代理与单一信念进行关联会显著提高对相关主题的一致性。
发现论文，激发创造
  • 基于 LLM 代理的网络观点动力学模拟

    准确模拟人的观点动态对于理解各种社会现象至关重要，包括极化和误信息传播。我们提出了一种基于大型语言模型的人口多智能体模拟观点动态的新方法。我们的发现揭示出语言模型智能体存在对准确信息的固有偏差，导致在科学现实中产生共识。然而，该偏差限制了模拟对气候变化等问题持有抵制观点的个体。在通过启动工程引入确认偏见后，我们观察到观点分裂的情况与现有的多智能体研究一致。这些见解突显了在该领域中大型语言模型智能体的前景和局限，并提出了未来发展路径：通过与真实世界的话语相结合，完善语言模型，以更好地模拟人类信念的演变。

    Nov, 2023

  • 使用 LLMs 模拟目标人群的信念和偏好

    对使用大型语言模型 (LLM) 来模拟人群的偏好进行了研究和评估，包括模拟焦点小组、虚拟调查和测试行为干预的应用，以及使用两种知名精调方法对电池电动汽车 (BEVs) 偏好调查的人群进行评估。同时，还提出并评估了一种新的损失项以改善对需要数字回答的问题的模型性能。

    Mar, 2024

  • 将语言模型与用户意见对齐

    通过挖掘公众意见调查的数据，结合用户观点、人口统计学和意识形态信息来对 LLMs 进行定位，从而实现更好地预测各种话题下的公众观点，同时发现利用个体用户的相关过往意见可以提高预测准确性。

    May, 2023

  • 评估 LLM 代理人群体动态与人类群体动态：基于党派群体智慧的案例研究

    本研究探讨了大型语言模型（LLMs）在模拟人类群体动态方面的潜力，特别是在政治上充满挑战性的背景下。我们使用 LLMs 复制了党派群体智慧现象，扮演民主党和共和党角色进行结构化互动，评估代理人的回应如何通过社会影响来演变。我们的主要发现表明，扮演具体人物并且没有链式思考的 LLM 代理人与人类行为紧密一致，而有链式思考则损害了一致性。然而，将明确的偏见纳入代理人提示并不一定增强党派群体的智慧。此外，用人类数据对 LLMs 进行微调显示出实现类似人类行为的潜力，但存在过度拟合特定行为的风险。这些发现展示了在模拟人类群体现象时使用 LLM 代理人的潜力和局限性。

    Nov, 2023

  • 大型语言模型能模拟人类的信任行为吗？

    大型语言模型（LLM）代理程序作为模拟人类行为的应用工具已经得到越来越广泛的应用，本文关注于研究 LLM 代理程序能否真正模拟人类的信任行为，通过对 LLM 代理程序在信任博弈框架下的行为模式以及与人类的行为一致性的研究，探究了代理程序对信任的偏好和对人类与代理程序之间的信任差异，并对信任在不同场景下的重要性提出了重要启示，从而推动了对 LLM 代理程序与人类之间行为类比的理解。

    Feb, 2024

  • 基于协作生成代理的 LLM 任务导向协调中人类行为互动模拟

    应用大型语言模型（LLMs）在各种任务和社会模拟中取得了显著进展，但它们在任务导向的社会背景中的协调能力尚未得到充分探索。为了弥合这一差距，我们引入了协作生成代理，为基于 LLMs 的代理赋予一致的行为模式和解决任务的能力。我们将这些代理置于一个模拟的招聘会环境中进行案例研究，以审查它们的协调能力。我们提出了一个新颖的框架，赋予协作生成代理人类般的推理能力和专业技能。我们的评估结果表明，这些代理显示出有希望的性能。然而，我们也发现了限制，阻碍了它们在更复杂的协调任务中的效果。我们的工作对于 LLMs 在任务导向的社会模拟中的作用和发展提供了有价值的见解。

    Oct, 2023

  • 辩论中 LLM 仿真的系统偏差

    近期自然语言处理的进展，特别是大型语言模型（LLMs）的出现，为构建精确复制人类行为的计算模拟提供了令人兴奋的可能性。然而，LLMs 是复杂的统计学习器，缺乏直接的演绎规则，因此容易产生意想不到的行为。本研究突出了 LLMs 在模拟人类互动方面的局限性，特别关注 LLMs 在模拟政治辩论方面的能力。我们的发现表明，尽管被指示从特定的政治角度进行辩论，LLM 代理倾向于符合模型固有的社会偏见。这种倾向导致了行为模式的偏离，似乎偏离了人类之间已经确立的社会动力学规律。我们使用了一种自动自我微调方法来强化这些观察结果，该方法使我们能够操纵 LLM 内的偏见，并展示代理随后与改变后的偏见保持一致。这些结果强调了进一步研究的必要性，以开发帮助代理克服这些偏见的方法，是创造更现实模拟的关键一步。

    Feb, 2024

  • 明示和隐示的大型语言模型角色生成意见，但无法复制更深层次的认知和偏见

    通过以人类为模版的角色对大型语言模型进行提示和回答问题，我们研究了这种模型在主观注释任务和信念生成任务中的表现，结果显示大型语言模型在模拟已知的人类偏见方面存在不同的结果，但在表现隐含的偏见方面通常未能达到预期。我们得出结论，大型语言模型缺乏人类思维的内在认知机制，虽然能够捕获人们言语的统计模式，但在复杂社会科学应用中可能限制其效果。

    Jun, 2024

  • LLM 代理人是否表现出社会行为？

    大型语言模型在社交科学研究和实际应用中的作用被不断拓展，然而在与人类和其他代理进行交互时，这些模型展现了一系列人类类似的社交行为，同时也存在一些行为差异，因此需要进一步研究和发展评估协议，以直接应用这些模型来模拟人类行为。

    Dec, 2023

  • LLM 辅助的基于 Agent 的社会模拟建模：挑战与机遇

    大规模语言模型与基于代理的仿真的整合对于理解复杂社会系统具有变革潜力，本文探讨了系统开发 LLM 增强的社会仿真的架构和方法，并讨论了该领域的潜在研究方向。结论表明，将 LLM 与基于代理的仿真相结合为研究人员和科学家提供了强大的工具集，能够生成更细致、逼真和全面的复杂系统和人类行为模型。

    May, 2024