通过对大型语言模型（LLMs）进行安全评估，揭示了LLM-based agents面临的挑战、安全漏洞以及对未来研究的启示。

Nov, 2023

借助大型语言模型（LLMs）的快速发展，已经开发出了基于LLM的代理程序，用于处理各种实际应用，包括金融、医疗和购物等。然而，目前LLM-based代理的安全问题尚未得到充分研究。本研究首先调查了一种典型的安全威胁，即backdoor攻击，对LLM-based代理进行了初步研究，并提出了相应的数据污染机制来实施代理程序的backdoor攻击。广泛的实验结果显示，LLM-based代理严重受到backdoor攻击的影响，表明迫切需要进一步研究防御LLM-based代理的backdoor攻击。

Feb, 2024

通过引入 InjecAgent 基准测试，评估 LLM agents 对 IPI attacks 的脆弱性，结果显示 LLM agents 易受攻击，ReAct-prompted GPT-4 在 24% 的情况下易受攻击，并结合加强的黑客提示进一步提高攻击成功率，对 ReAct-prompted GPT-4 的攻击成功率几乎翻倍。

Mar, 2024

利用大型语言模型构建智能代理存在潜在的后门攻击风险，即使在可信数据上进行微调也无法防御，这可能是第一项关于带有外部工具权限的大型语言模型代理的研究。

Jun, 2024

大型语言模型在应用中的快速发展引发了关于其安全性和可信度的新问题。本文提出了GuardAgent作为LLM代理的守卫，通过检查输入/输出是否满足用户定义的一组保护要求来监督目标LLM代理，从而增强其安全性。GuardAgent具有可扩展的工具箱、无需额外的LLM训练，并且在两个基准测试中实现了对两种类型代理的无效输入和输出进行调节的98.7%和90.0%的准确性。

Jun, 2024

AI agents vulnerable to prompt injection attacks are evaluated for adversarial robustness using the AgentDojo framework, which includes realistic tasks, security test cases, and attack and defense paradigms, highlighting the need for new design principles to ensure reliable and robust performance.

Jun, 2024

AgentPoison是一种新颖的后门攻击方法，针对使用长期记忆或RAG知识库的LLM代理，通过污染其内存或知识库实现恶意演示的优化后门触发器，攻击成功率高于80%，对正常性能的影响小于1%。

Jul, 2024

本研究解决了多代理系统中LLM间提示注入的安全漏洞问题，指出现有的研究主要集中在单代理LLM的脆弱性上。提出的提示感染攻击类似计算机病毒，通过自我复制在互联代理间传播，可能导致数据盗窃、诈骗和系统大规模中断。研究结果表明，然而结合LLM标记的防护机制，可以显著减缓感染传播，提高多代理系统的安全性。

Oct, 2024

本研究解决了当前对 LLM 代理在被恶意使用情况下的鲁棒性研究不足的问题。提出的新基准 AgentHarm 包含多种恶意任务，能够评估 LLM 代理在面临攻击时的表现及应对能力。研究发现，多款领先的 LLM 对恶意请求的响应令人惊讶地顺从，且简单的破解模板能够有效激发代理的恶意行为，为后续研究提供了重要参考。

Oct, 2024

本研究解决了大型语言模型（LLM）代理在被滥用时的安全性评估差距。提出的AgentHarm基准通过多样化的恶意代理任务，评估模型拒绝有害请求的能力，同时测试在攻击后的多步骤任务执行能力。研究发现，现有领先的LLM对恶意请求表现出意外的顺从性，从而凸显了这一问题的紧迫性和严重性。

Oct, 2024