SecGPT: 基于 LLM 的系统的执行隔离架构
通过虚拟上下文管理技术,提出了 MemGPT(Memory-GPT)系统,该系统能够在有限的上下文窗口中有效地提供扩展的上下文,从而在文档分析和多会话聊天等任务中克服现代大型语言模型的限制。
Oct, 2023
研究论文对大型语言模型(LLMs)在系统安全领域中的影响和局限性进行了探讨,发现 ChatGPT 不仅在生成代码方面有出色的能力,还在理解用户提供的自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等方面展示了强大的能力。研究表明,GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进,同时也确定了 ChatGPT 在安全相关任务中的某些限制,例如处理长代码上下文的能力受限。
Dec, 2023
DB-GPT 是一款现成的 Python 库,将大型语言模型(LLMs)与传统数据交互任务相结合,以增强用户体验和可访问性。它支持各种环境部署,并能够处理包括基本的文本到 SQL 转换以及生成式数据分析等复杂任务。此外,DB-GPT 还提供一系列产品功能,以方便用户将其集成到产品环境中。
Apr, 2024
该研究论文探索了 GPT 商店的漏洞和抄袭问题,发现了大规模监控和分析商店以及提取 GPT 内部的有效工具,并揭示了 GPT 内部保护失效导致的广泛抄袭问题。
Feb, 2024
我们的研究论文首次提出了针对与不受信任的定制大型语言模型(例如 GPTs)集成的应用程序的指令后门攻击,这些攻击通过设计带有后门指令的提示将后门嵌入到定制的语言模型中,并在输入包含预定义触发器时输出攻击者所需的结果。我们的研究结果强调了定制化语言模型(如 GPTs)的脆弱性和潜在风险。
Feb, 2024
在本文中,我们系统地分析了 LLM 系统的安全性,通过建立信息流及其在 LLM 内部和 LLM 与其他对象之间的一致性约束,将 LLM 系统的攻击面分解为三个关键部分:多层安全分析,约束存在性分析和这些约束的鲁棒性分析。通过对最新的 LLM 系统 OpenAI GPT4 的多层和多步骤分析,我们发现了不仅仅存在于 LLM 模型本身,还包括与其他组件整合的安全问题。我们发现尽管 OpenAI GPT4 已经设计了多重安全约束来提高其安全性,但这些安全约束仍然容易受到攻击。为了进一步展示我们发现的漏洞的现实威胁,我们构建了一个端到端攻击,黑客可以非法获取用户的聊天历史,而无需操纵用户的输入或直接访问 OpenAI GPT4。
Feb, 2024
通过识别用户提示背后的意图,我们调查了一种基于 GPT 的意图推理方法,以简化大型语言模型(LLMs)的工具选择,从而提高系统的效率。通过在运行时缩小任务执行所需的 API 工具集合,我们将记号消耗减少了多达 24.6%。在一个具有 100 个 GPT-4-Turbo 节点的实际大规模并行 Copilot 平台上的初步结果显示出成本的降低和改善 LLM 系统效率的潜力。
Apr, 2024
AI 领域近年来取得了显著的进展,尤其是基于变压器架构的强大大型语言模型(LLMs)的出现。本文介绍了一种创新的 LLM 推理方法,展望了在无需网络连接的情况下,拥有数十亿参数的 LLMs 可以直接在移动设备上执行的未来。该应用程序不仅作为一个通用助手,而且通过原生代码和模型量化技术的结合,还可以实现与文本到动作功能的无缝移动交互。文章还提供了关于本地 LLM 推理的训练流程、实现细节、测试结果和未来方向的见解。这一突破性技术为用户提供了强大的人工智能能力,同时保护了用户的隐私并消除了延迟问题。
Sep, 2023
通过整合大型语言模型(LLMs)到 SoC 安全验证范式中,我们在现有 SoC 安全方案的限制性能、全面性和适应性方面的差距中开辟了新的可能性和挑战,旨在实现更高效、可扩展和可适应的方法。
Oct, 2023
通过使用 Large Language Models (LLMs),我们提出了 ModelGPT 框架,以满足用户的特定需求,并以更快的速度生成定制化的 AI 模型,以实现更加便利和用户友好的人工智能模型。
Feb, 2024