May, 2024

STRIDE：面向战略和互动决策的辅助工具 LLM 代理框架

PDF
TL;DR本文针对目前语言模型在战略多代理决策环境中存在的局限性，提出了一种新颖的语言模型代理框架，通过加入记忆和专门设计的工具，提升了其战略决策能力。通过在多个重要经济环境中的应用，特别是双边协商和多代理动态机制设计，我们使用定量指标评估了该框架在各种战略决策问题中的表现。研究结果表明，我们改进后的框架显著提升了语言模型的战略决策能力，同时也强调了当前语言模型的固有局限性，为未来在交互环境中的应用指明了一个有前景的方向。
large language modelsstrategic decision-makingmulti-agent environmentsmemoryspecialized tools
发现论文，激发创造
  • 语言模型的战略推理

    使用预训练的大型语言模型，并通过有限的示例进行引导，使智能代理能够进行战略推理和协商，而不需要任何额外的训练或微调。

    May, 2023

  • GameBench：评估 LLM 代理的战略推理能力

    使用大型语言模型在游戏中评估策略推理能力的跨领域基准 (GameBench) 显示，虽然大多数测试模型并不及人类水平，但对策略推理能力的两种框架（CoT 和 RAP）能够提高分数。

    Jun, 2024

  • StrategyLLM：作为问题解决的策略生成器，执行器，优化器和评估器的大型语言模型

    综合利用 LLMs 能力的 StrategyLLM 框架提出，通过制定通用问题解决策略，以及利用这些策略产生一致的解决方案来提高推理方法的泛化性和一致性。实验证明，StrategyLLM 在数学推理、常识推理、算法推理和符号推理等 4 个具有挑战性的任务上，比需要人工注释解决方案的同类基准模型 CoT-SC 表现更好。

    Nov, 2023

  • LLM 作为主脑：大型语言模型的战略推理综述

    本文综述了大规模语言模型（LLMs）在战略推理中的当前状况和机遇，战略推理是一种复杂的推理形式，需要理解和预测多智能体环境中对手行为并相应调整策略。本文探讨了与 LLMs 相关的战略推理的范围、应用、方法论和评估指标，强调了该领域蓬勃发展和跨学科方法对决策性能的增强。该文旨在系统梳理和澄清有关此主题的分散文献，提供系统综述，凸显战略推理作为一种关键认知能力的重要性，并提供未来研究方向和潜在改进的见解。

    Apr, 2024

  • 大型语言模型的多阶段规划任务中的类人推理框架

    我们在此研究中专注于解决多阶段旅行计划问题，通过开发类似人类规划模式的规划框架来提高 LLM 代理的规划能力，实验结果表明我们的框架与 GPT-4-Turbo 结合能够在旅行计划任务中获得显著的性能提升。

    May, 2024

  • LLM-Deliberation：用互动多智能体协商游戏评估 LLMs

    使用可评分的协商游戏作为新的评估框架，系统化的零样本链式思考提示能够展示大型语言模型在协商中的能力和绩效差距。

    Sep, 2023

  • GTBench: 揭示 LLMs 的战略推理限制：基于博弈论评估

    通过博弈论任务以及与其他模型的比赛来评估大型语言模型在竞争环境中的推理能力，研究发现大型语言模型在游戏场景中的表现因任务类型而异，然而，开源的模型相较于商业模型在复杂游戏中表现不佳。

    Feb, 2024

  • 大型语言模型推理中动态策略选择的自适应求解器框架

    给定一个初始解决方案，我们引入了一个自适应求解器框架，通过动态适应策略，包括模型适应、提示方法适应和分解粒度适应，来提高计算效率和整体性能，同时减少 API 成本。

    Oct, 2023

  • 小型 LLM 是弱工具学习者：多 LLM 代理

    我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

    Jan, 2024

  • 将你的资金投到你的口中：在拍卖竞技场中评估 LLM 代理的战略规划与执行

    大型语言模型可以在复杂环境中模拟人类行为，在竞争环境中展示了高级推理技能，需要评估环境来探测战略推理、竞争动态场景中的长期规划，介绍了 AucArena 作为一个评估 LLMs 的新型模拟环境，在竞拍中证明了通过简单的提示，LLMs 确实展示了参与竞拍所需的许多技能，还发现对 LLM 代理进行自适应和观察过去竞拍策略的明确鼓励，可以提高这些技能的准确性，这些结果表明使用 LLM 代理模拟复杂社交动态的潜力，尤其在竞争环境中，但我们也观察到个体 LLMs 的能力存在相当大的变异性，值得注意的是，即使是最先进的模型（GPT-4）有时也会被启发式基准线和人类代理超越，这突显了 LLM 代理设计中进一步提高和我们的模拟环境在测试和改进代理体系结构中的重要作用。

    Oct, 2023