Jun, 2024

大善大恶与独霸型 GPT：合作与交易游戏中大型语言模型情感决策分析

PDF
TL;DR通过对大型语言模型的实验，研究表明情绪对其行为的决策和人类决策的关联存在重要影响，其中 GPT-4 在情绪状态下表现出与人类类似的行为响应。
发现论文，激发创造
  • 使用大型语言模型进行反复游戏

    使用行为博弈理论研究大型语言模型行为，结果显示它们在自我利益方面的表现非常出色，但在协调方面表现不佳，尤其表现出一些行为特征。

    May, 2023

  • 利用实验经济学研究大型语言模型中出现的类目标行为

    通过实验，本研究发现大型语言模型能够在一定程度上将自然语言描述的利他主义和自私行为转化为适当的行为，但在适应有条件回报的情况下存在局限性，特别是在社会困境的一般人类行为模式方面存在潜在限制。研究呼吁进一步探讨大型语言模型生成的代理在更广泛的社会困境中自动生成行为的因素，探讨模型架构、训练参数和各种合作伙伴策略对代理行为的影响，最终促进更符合人类价值和社会规范的人工智能系统的发展。

    May, 2023

  • 语言模型中出现的类人直觉行为和推理偏见 —— 以及 GPT-4 中的消失

    本研究通过使用心理学方法，展示了大型语言模型（LLMs），尤其是 GPT-3，表现出类似于人类直觉的行为和认知错误，而具有更高认知能力的 LLMs，特别是 ChatGPT 和 GPT-4，学会避免这些错误，并表现出超理性的方式；此外，我们还探究了直觉决策倾向的稳定程度。

    Jun, 2023

  • 情感建模的下一步是什么？大型语言模型

    GPT-4 可以进行情感预测和情感强度的操纵，以及通过反向评估进行目标、信念和情感的预测。然而，它不能完全取代试图建模情感相关过程的作品，尽管语言模型在情感建模中有重要作用。

    Oct, 2023

  • GPT 是情感的计算模型吗？详细分析

    通过组件角度研究了 GPT 系列大型语言模型的情感推理能力。研究首先探讨了该模型对自传记忆的推理方式，其次系统地改变情境的各个方面以影响情感强度和应对倾向。研究结果表明，即使没有使用提示工程，GPT 的预测结果与人提供的评估和情感标签相一致。然而，GPT 在预测情感强度和应对反应方面面临困难。尽管在进行微小提示工程后表现出优越的结果，GPT-4 在第二项研究中表现不佳。这一评估引发了如何有效利用这些模型的优点和解决其弱点的问题，尤其是在响应变异性方面。这些研究突显了从组件角度评估模型的价值。

    Jul, 2023

  • 大型语言模型假设人类比实际更加理性

    AI 系统需要理解我们的决策方式以便与人类有效沟通，然而人类的决策并不总是理性的，因此大型语言模型（LLMs）中的人类决策的隐性内部模型必须考虑这一点。先前的实证证据似乎表明这些隐性模型是准确的，LLMs 在日常互动中呈现出了人类行为的可信代理。然而，通过将 LLM 的行为和预测与大量人类决策的数据集进行比较，我们发现情况实际上并非如此：在模拟和预测人类选择时，一套尖端的 LLMs（GPT-4o 和 4-Turbo，Llama-3-8B 和 70B，Claude 3 Opus）假设人们比实际更理性。具体而言，这些模型偏离了人类行为，更接近于经典的理性选择模型 - 预期值理论。有趣的是，人们在解释他人行为时也倾向于假设他人是理性的。因此，当我们使用另一个心理学数据集比较 LLMs 和人类从他人决策中得出的推理时，我们发现这些推理之间高度相关。因此，LLMs 的隐性决策模型似乎与人类预期他人会理性行事的期望相一致，而不是与人们实际行动相一致。

    Jun, 2024

  • 大型语言模型是否比人类更具移情能力？

    本研究通过与人类基准对比的方式，综合评估了四个最先进的大型语言模型（GPT-4、LLaMA-2、Mixtral-8x7B 和 Gemini-Pro）在共 2000 个情感对话提示中的回应中的移情能力。我们的发现显示，大型语言模型在移情回应能力上显著超过人类，其中 GPT-4 的回应被评为 “好” 的比例比人类基准提高了约 31%。此外，我们发现不同的大型语言模型在回应不同情感时表现显著不同。基于研究结果，我们提出了一种可扩展和可适应的评估框架，用于评估新大型语言模型的移情能力，避免了未来研究中重复这项研究的需求。

    Jun, 2024

  • 基于大型语言模型的道德机器实验

    当 LML（大型语言模型）在各个领域中深入应用时，了解它们如何做出道德判断变得至关重要，特别是在自动驾驶领域。本研究利用 Moral Machine 框架，调查了几个重要 LML（包括 GPT-3.5，GPT-4，PaLM 2 和 Llama 2）的道德决策倾向，并将它们与人类偏好进行比较。虽然 LML 和人类的偏好在许多方面保持一致，如优先考虑人类而非宠物，倾向于拯救更多生命，但尤其是 PaLM 2 和 Llama 2 表现出明显的差异。此外，尽管 LML 和人类的偏好在质的方面相似，但在量的方面存在显著差异，这表明相较于人类的温和偏向，LML 可能更倾向于更坚决的决策。这些发现揭示了 LML 的道德框架，以及它们对自动驾驶的潜在影响。

    Sep, 2023

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示 GPT-4 在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024

  • LLM 模型模拟人类心理行为的有限能力：心理测量分析

    该研究使用心理测量学的方法，对 OpenAI 的 GPT-3.5 和 GPT-4 模型进行了人格特质测试。结果发现，使用普通人物描述时，GPT-4 的回答表现出与人类相似的心理特点，而使用具体人口统计信息的情况下，两个模型的回答则表现较差，此研究对于大语言模型在模拟个体级人类行为方面提出了怀疑。

    May, 2024