推理行动: 通过先发制人评估和人类反馈为基于LLM的代理商推断安全行动
本文研究了大型语言模型之间在协商游戏中通过玩耍、反思和批判是否能自主地相互提高。我们使用不同的LLMs(GPT和Claude)来不同的角色，使用交易价格作为评估指标，让两个代理商进行多轮游戏，使用先前的谈判历史和AI反馈作为上下文演示，迭代地改进模型的谈判策略。我们希望我们的工作为语言模型间自主改进提供了初步的探索。
May, 2023
研究文献中广泛探讨了对AI代理的信任问题，随着大型语言模型和基于此模型的AI代理框架的快速发展，面临着新的挑战和研究机会。本文研究了新一代基于AI的代理在流程自动化领域崛起的新挑战和机遇，分析了现有文献中讨论的AI代理信任的主要方面，并确定了与这一新代理代际相关的具体考虑和挑战。同时，我们评估了该类别中新产品如何解决这些考虑因素，并强调研究界应在这一不断演变的领域中解决的几个挑战。
Aug, 2023
大型语言模型可以在复杂环境中模拟人类行为，在竞争环境中展示了高级推理技能，需要评估环境来探测战略推理、竞争动态场景中的长期规划，介绍了AucArena作为一个评估LLMs的新型模拟环境，在竞拍中证明了通过简单的提示，LLMs确实展示了参与竞拍所需的许多技能，还发现对LLM代理进行自适应和观察过去竞拍策略的明确鼓励，可以提高这些技能的准确性，这些结果表明使用LLM代理模拟复杂社交动态的潜力，尤其在竞争环境中，但我们也观察到个体LLMs的能力存在相当大的变异性，值得注意的是，即使是最先进的模型（GPT-4）有时也会被启发式基准线和人类代理超越，这突显了LLM代理设计中进一步提高和我们的模拟环境在测试和改进代理体系结构中的重要作用。
Oct, 2023
通过评估R-Judge，本研究使用包含162个代理人交互记录、涵盖7个应用类别和10种风险类型的27个关键风险场景的基准测试，对8个常用语言模型进行了全面评估。最佳模型GPT-4在对风险评估得分方面为72.29%，而人类得分为89.38%，显示了提高语言模型对风险意识的潜力。此外，利用风险描述作为环境反馈显著提高了模型的性能，揭示了突出的安全风险反馈的重要性。最终，通过设计有效的安全分析技术和深入的案例研究，有助于判断安全风险并促进未来研究。
Jan, 2024
提出和评估一种新颖的方法，在不依赖任何存储数据或预训练的情况下，在LLM代理之间进行知识蒸馏，以实时保留人类角色扮演中的独特语境，并评估我们的系统在模拟的真实世界任务中表现更好。
Mar, 2024
通过定制化的大型语言模型 (LLM) 代理，采用提示工程、启发式推理和检索增强生成的元素，以保持结构化信息，我们提出了一种高效的混合策略，利用LLM进行安全分析和人工智能与人类的协同设计，以提高软件工程和安全工程中的生成式AI的质量要求，并确保人类对生成式AI提供的建议负责，通过图形表述作为系统模型的中间表示，促进了LLM和图形之间的交互，以简化的自动驾驶系统为案例说明了我们的方法。
Apr, 2024
通过自动化测试和理解大型语言模型 (LLMs) 的错误规划，我们提出了一种名为 PDoctor 的新方法，将错误规划的检测建模为一个约束可满足性问题。通过定义领域特定语言 (DSL) 和合成各种输入，PDoctor 可以有效地检测代理规划中的多种错误，并为开发人员和用户提供有价值的洞察和错误特征。
Apr, 2024
我们介绍了一种新颖的方法，为LLM智能体提供自省能力，以增强其在解决复杂任务中的一致性和适应性。我们的方法促使LLM智能体将给定的任务分解为可管理的子任务（即制定计划），并持续对其行动的适用性和结果进行自省。通过在Web环境中使用这种零样本方法进行实际任务的部署和实验，我们的智能体展示了优于现有零样本方法的性能。实验结果表明，我们的自省驱动方法不仅通过稳定的计划执行机制增强了智能体应对意外挑战的能力，而且通过减少试验和计划修订所需的次数，提高了任务的效率。
May, 2024