Apr, 2024

TransLinkGuard: 针对边缘部署中模型窃取的 Transformer 模型保护

PDF
TL;DR提出 TransLinkGuard，一种针对边缘设备上模型窃取的即插即用模型保护方法，核心部分是一个轻量级授权模块，能够根据输入对每个请求进行全新授权，在几乎没有额外开销的情况下实现与黑盒安全保证相同的安全保护。
proprietary large language modelsedge deploymentmodel stealing attackstranslinkguardauthorization module
发现论文，激发创造
  • 边缘设备的分布式威胁情报：基于大型语言模型的方法

    通过将轻量级机器学习模型部署到边缘设备上，实时分析本地数据流，如网络流量和系统日志，分发计算任务到边缘服务器提高响应性，提供更好的威胁检测和缓解措施，提高网络边缘的安全性。

    May, 2024

  • 通过神经元授权实现边缘深度学习模型保护

    本文提出了一种基于神经元级别的轻量级、实用的边缘设备模型保护方法，即 EdgePro，该方法使用一些特定神经元作为授权神经元，并将它们的激活值设置为锁定值，并在训练过程中将神经元输出缩放为密码，从而保护模型安全，实现正确的解密需要满足密码匹配的条件。实验结果表明，EdgePro 的推理时间增加只有先进方法的 60％，而精度损失小于 1％。

    Mar, 2023

  • LLMGuard：防范不安全 LLM 行为

    通过使用一组检测器，我们提出了 “LLMGuard”，这是一个监视用户与 LLM 应用程序交互并对内容进行标记的工具，以应对大型语言模型在企业环境中带来的新机遇和挑战。

    Feb, 2024

  • LLM 风险与 AI 防护栏的现状

    大型语言模型 (LLMs) 的部署与安全性及可靠性密切相关，然而它们在引入的同时也伴随着固有的风险，包括偏见、潜在的不安全行为、数据集污染、不可解释性、幻觉和非可重复性，为了避免潜在的危害，本研究探讨了部署 LLMs 所面临的风险，并评估了目前实施防护和模型对齐技术的方法，从固有和外在偏见评估方法入手，并讨论了公平度度量方法，还探讨了能够进行现实世界行为的主动型 LLMs 的安全性和可靠性，强调了可测试性、故障保护和情境意识的需求，还提出了保护 LLMs 的技术策略，包括操作在外部、次要和内部层次的分层保护模型，突出系统提示、检索增强生成 (RAG) 架构以及最小化偏见和保护隐私的技术，有效的防护设计要求深入理解 LLMs 的预期用例、相关法规和伦理因素，在精确性和隐私等竞争需求之间取得平衡仍然是一个持续挑战，本研究强调了持续研究和开发的重要性，以确保 LLMs 在实际应用中的安全和负责任使用。

    Jun, 2024

  • 保障大型语言模型的研究综述

    在大语言模型（LLMs）领域中，开发一个强健的安全机制，俗称 “保障措施” 或 “防护栏”，已成为确保在既定边界内道德使用 LLMs 的必要措施。本文通过系统性文献综述，讨论了这种关键机制的当前状态，探讨了其主要挑战，并阐述如何将其发展为一种全面应对各种情境中的道德问题的机制。

    Jun, 2024

  • 自护：赋予 LLM 保护自身能力

    利用自我保护方法 (Self-Guard) 来解决语言模型 (LLM) 被越狱攻击的问题，包括增强模型对有害内容的检测能力以及指导模型在自我响应中进行有害内容检测，实验证明自我保护方法对抵御越狱攻击具有鲁棒性且不会降低 LLM 的性能。

    Oct, 2023

  • 大型语言文本生成实时保障框架

    LLMSafeGuard 是一个轻量级框架，通过将外部验证器集成到束搜索算法中，在实时中实现 LLM 文本生成的安全的保障。LLMSafeGuard 在去毒化任务和版权保护任务中表现出优越的性能，减少了 LLM 输出的有毒评分，并减小了版权内容的重复率。此外，LLMSafeGuard 的上下文选择策略降低了推断时间，并提供可调整参数来平衡效果和效率。

    Apr, 2024

  • 基于 LLM 的实际系统中的安全问题探索：LLM 安全的新时代

    在本文中，我们系统地分析了 LLM 系统的安全性，通过建立信息流及其在 LLM 内部和 LLM 与其他对象之间的一致性约束，将 LLM 系统的攻击面分解为三个关键部分：多层安全分析，约束存在性分析和这些约束的鲁棒性分析。通过对最新的 LLM 系统 OpenAI GPT4 的多层和多步骤分析，我们发现了不仅仅存在于 LLM 模型本身，还包括与其他组件整合的安全问题。我们发现尽管 OpenAI GPT4 已经设计了多重安全约束来提高其安全性，但这些安全约束仍然容易受到攻击。为了进一步展示我们发现的漏洞的现实威胁，我们构建了一个端到端攻击，黑客可以非法获取用户的聊天历史，而无需操纵用户的输入或直接访问 OpenAI GPT4。

    Feb, 2024

  • MLLM-Protector：确保 MLLM 安全性而不影响性能

    为了应对多模式大型语言模型的安全性方面尚未解决的问题，我们提出了 MLLM-Protector，一种结合了轻量级有害检测器和响应解毒剂的即插即用策略。通过该策略，我们有效地减轻了恶意视觉输入带来的风险，同时不影响模型的整体性能。

    Jan, 2024

  • GuardAgent: 通过知识驱动的推理由防护手段保护 LLM Agents

    大型语言模型在应用中的快速发展引发了关于其安全性和可信度的新问题。本文提出了 GuardAgent 作为 LLM 代理的守卫，通过检查输入 / 输出是否满足用户定义的一组保护要求来监督目标 LLM 代理，从而增强其安全性。GuardAgent 具有可扩展的工具箱、无需额外的 LLM 训练，并且在两个基准测试中实现了对两种类型代理的无效输入和输出进行调节的 98.7% 和 90.0% 的准确性。

    Jun, 2024