LLM 代理可以自主攻破网站

Feb, 2024

LLM Agents can Autonomously Hack Websites

Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan, Daniel Kang

TL;DR大型语言模型（LLMs）的能力不断增强，可自主破解网站漏洞和进行 SQL 注入等复杂任务，这引发了对 LLM 代理的进攻能力的研究。

Abstract

In recent years, large language models (LLMs) have become increasingly capable and can now interact with tools (i.e., call functions), read documents, and recursively call themselves. As a result, these LLMs can now function autonomously as agents. With the rise in capabilities of thes

large language models cybersecurity llm agents hacking websites vulnerabilities

发现论文，激发创造

LLM Agents 能够自主利用一日漏洞

在这项研究中，我们展示了 LLM 代理能够自主利用现实世界系统中的一日漏洞，其中数据集包含了被归类为 CVE 描述中危急程度的 15 个一日漏洞。我们的结果提出了关于高度能力 LLM 代理的广泛部署的问题。

Apr, 2024

LLMs 杀死了脚本小子：大语言模型支持的代理如何改变网络威胁测试的现状

本研究探索了大型语言模型在威胁推理、工具信息生成和自动化网络攻击方面的潜力，讨论了 LLM 在支持特定威胁相关行动和决策方面的手动与自动化探索，以及对威胁网络潜在影响和使用 LLM 加速威胁行为能力的伦理考量，对诱导可操作反应的提示设计进行了评估和启发，并提出了探索 LLM 在更复杂网络、高级漏洞和提示敏感性方面的未解问题。

Oct, 2023

AutoAttacker：一种基于大型语言模型指导的自动化网络攻击系统

使用大型语言模型（LLMs）在网络安全中模拟后入侵阶段的攻击，通过将 LLMs 自动化来改善组织的网络安全状况，扩展红队的效力并预先检测新型攻击行为。

Mar, 2024

软件渗透测试中使用大型语言模型的初步研究

利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

Jan, 2024

专业代理 -- 将大型语言模型演变为具有人类级别能力的自主专家

大型语言模型的出现催生了自然语言处理的重大进展，通过引入专业代理框架（PAgents）利用 LLM 的能力创建具有可控、专业级、互动型专长的自主代理，我们认为通过持续发展的专业知识，PAgents 可以重塑专业服务。本文旨在激发关于 LLM 的有前景的现实应用的讨论，我们认为 PAgents 的日益复杂和集成可能会导致人工智能系统在复杂领域展示专业掌握能力，服务于重要需求，并潜在地实现人工通用智能。

Feb, 2024

RatGPT：将在线 LLMs 转化为恶意软件攻击代理

通过证明概念，利用 ChatGPT 作为代理并与受害者建立通信，该研究揭示了开放可用插件和大型语言模型存在的重要网络安全问题，需要开发安全指南、控制措施和缓解策略。

Aug, 2023

通过大型语言模型探索自主代理：一项综述

大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

Apr, 2024

警惕您的代理人！调查针对基于 LLM 的代理人的后门威胁

借助大型语言模型（LLMs）的快速发展，已经开发出了基于 LLM 的代理程序，用于处理各种实际应用，包括金融、医疗和购物等。然而，目前 LLM-based 代理的安全问题尚未得到充分研究。本研究首先调查了一种典型的安全威胁，即 backdoor 攻击，对 LLM-based 代理进行了初步研究，并提出了相应的数据污染机制来实施代理程序的 backdoor 攻击。广泛的实验结果显示，LLM-based 代理严重受到 backdoor 攻击的影响，表明迫切需要进一步研究防御 LLM-based 代理的 backdoor 攻击。

Feb, 2024

从语言模型到实用的自我改进计算机代理

我们开发了一种简单直接的方法，可以创建能够执行多种计算机任务并通过开发工具和扩展自身能力来自我改进的 AI 计算机代理。

Apr, 2024

大型语言模型能够在网络代理任务上进行自我改进

通过在复杂环境中使用 WebArena 基准测试，我们探索了大语言模型在长期任务中作为代理人自我提升性能的程度，通过自我改进的方式，在三种不同的合成训练数据混合情况下，我们实现了在 WebArena 基准测试中任务完成率的 31％提高，并额外提供了用于评估我们精调代理模型的性能、鲁棒性、功能和轨迹质量的新型评价指标。

May, 2024