AAAIDec, 2023

大型语言模型能否作为博弈论中的理性参与者？一项系统分析

PDF
TL;DR利用大型语言模型作为替代人类参与游戏实验的工具来进行社会科学研究时，与人类行为高度一致的特点使其具备潜力，然而，尽管已经有大量关于大型语言模型与博弈论结合的实证研究，但大型语言模型在博弈论中的能力边界仍不清楚，因此我们试图在本研究中系统分析大型语言模型在博弈论背景下的表现，结果表明即使目前最先进的大型语言模型（GPT-4）与人类在博弈论方面存在显著差异，因此在社会科学领域引入大型语言模型进行游戏实验时应更加谨慎。
game theorylarge language models (llms)rationalityclassical gamesbehavior analysis
发现论文，激发创造
  • 使用大型语言模型进行反复游戏

    使用行为博弈理论研究大型语言模型行为，结果显示它们在自我利益方面的表现非常出色，但在协调方面表现不佳，尤其表现出一些行为特征。

    May, 2023

  • 大型语言模型假设人类比实际更加理性

    AI 系统需要理解我们的决策方式以便与人类有效沟通，然而人类的决策并不总是理性的，因此大型语言模型（LLMs）中的人类决策的隐性内部模型必须考虑这一点。先前的实证证据似乎表明这些隐性模型是准确的，LLMs 在日常互动中呈现出了人类行为的可信代理。然而，通过将 LLM 的行为和预测与大量人类决策的数据集进行比较，我们发现情况实际上并非如此：在模拟和预测人类选择时，一套尖端的 LLMs（GPT-4o 和 4-Turbo，Llama-3-8B 和 70B，Claude 3 Opus）假设人们比实际更理性。具体而言，这些模型偏离了人类行为，更接近于经典的理性选择模型 - 预期值理论。有趣的是，人们在解释他人行为时也倾向于假设他人是理性的。因此，当我们使用另一个心理学数据集比较 LLMs 和人类从他人决策中得出的推理时，我们发现这些推理之间高度相关。因此，LLMs 的隐性决策模型似乎与人类预期他人会理性行事的期望相一致，而不是与人们实际行动相一致。

    Jun, 2024

  • 比人类更友好：大型语言模型在囚徒困境中的行为如何？

    对于大型语言模型（LLMs）作为人工社交代理的行为知之甚少，我们仍缺乏这些代理对简单社交刺激的反应的大量证据。在经典的博弈论实验中测试 AI 代理的行为为评估这些代理在原型社交环境中的规范和价值提供了有希望的理论框架。在本文中，我们研究了 Llama2 在与展现不同敌意水平的随机对手对抗迭代囚徒困境时的合作行为。我们引入了一种系统的方法来评估 LLM 理解游戏规则的能力以及其解析历史游戏日志进行决策的能力。我们进行了持续 100 轮的游戏模拟，并根据行为经济学文献中定义的维度分析了 LLM 的决策。我们发现，Llama2 倾向于不主动背叛，但在对手将其背叛率降低至 30% 以下时，它会采取一种谨慎的合作方式，迅速转向一种既宽容又不报复的行为。与先前对人类参与者的研究相比，Llama2 表现出更强的合作倾向。我们对 LLMs 在博弈理论场景中的研究方法是朝着使用这些模拟来指导 LLM 审核和对齐实践迈出的一步。

    Jun, 2024

  • 大型语言模型在混合策略纳什均衡游戏中的应用

    本研究旨在研究博弈论和生成人工智能的交叉领域，聚焦于大型语言模型在找到混合策略 Nash 均衡的游戏中的能力，发现了大型语言模型在运行代码和提供特定提示的情况下性能显著提高，但也揭示了在难以推断游戏的随机化策略时，大型语言模型的限制性。该论文致力于为博弈论和生成人工智能的交叉领域增添研究成果，同时提供有关大型语言模型优势和劣势的有价值洞察，并强调了进一步研究的必要性以克服大型语言模型的局限，尤其是在处理稍复杂情境时，以发挥其全部潜力。

    Jun, 2024

  • 以字符串形式的状态作为策略：通过博弈理论求解器驾驭语言模型

    对话和游戏理论的结合，使用大型语言模型提供了生成对话和构建游戏理论解决概念的能力。

    Jan, 2024

  • GTBench: 揭示 LLMs 的战略推理限制：基于博弈论评估

    通过博弈论任务以及与其他模型的比赛来评估大型语言模型在竞争环境中的推理能力，研究发现大型语言模型在游戏场景中的表现因任务类型而异，然而，开源的模型相较于商业模型在复杂游戏中表现不佳。

    Feb, 2024

  • 关于 LLMs 决策能力的探究：在多智能体环境中评估 LLMs 的游戏能力

    通过 Game Theory 基于 GAMA-Bench 框架评估 LLMs 的决策能力，研究发现 GPT-3.5 在鲁棒性方面表现出色，但其概括能力相对有限，通过 Chain-of-Thought 等方法可以提高其性能；此外，评估发现 GPT-4 在 GAMA-Bench 上表现最好，得分为 72.5，而 GPT-3.5 的不断更新也标志着模型智能的显着提高。

    Mar, 2024

  • ALYMPICS：语言智能与博弈论相遇

    使用 Large Language Model（LLM）代理在博弈论研究中模拟真实行为，从而提高对复杂社会经济环境下的战略决策的理解。

    Nov, 2023

  • 基于 LLM 的模仿次理性行为：幻觉还是现实？

    利用大型语言模型生成合成的人类示范，然后通过模仿学习学习非理性主体策略，以此来模拟人类特征性的非理性行为，通过实验评估了该框架的模拟非理性行为的能力，并得出结论和讨论框架的潜在收益、挑战和限制。

    Feb, 2024

  • 大型语言模型中的 (非) 理性和认知偏差

    大型语言模型在合理推理中显示出人类的偏见和不合理行为，但这种不合理行为与人类不同，且存在额外的回答不一致性。

    Feb, 2024