大型语言模型的安全风险分类
通过探索大型语言模型系统的四个关键模块,即接收提示的输入模块,基于丰富语料库的语言模型,用于开发和部署的工具链模块以及生成语言模型内容的输出模块,本文提出了一种综合分类方法,系统分析了每个模块可能涉及的潜在风险,并讨论了相应的缓解策略。此外,我们还回顾了流行基准以促进大型语言模型系统的风险评估。希望本文能帮助大型语言模型参与者从系统角度构建负责任的系统。
Jan, 2024
本文对大型语言模型(LLMs)中的风险评估问题进行了探讨,并重点研究了奖励模型在感知和分类不同类型风险时面临的挑战,通过使用 Anthropic Red 团队的数据集,对信息风险、恶意用途和歧视 / 仇恨内容等主要风险类别进行了分析,研究结果表明 LLMs 倾向于认为信息风险较少有害,并通过特殊开发的回归模型对此进行了确认,此外,研究还揭示了 LLMs 在信息风险场景中对风险反应较不严格,强调了 LLM 风险评估中的关键安全问题以及对改进人工智能安全措施的需求。
Mar, 2024
对大型语言模型(LLMs)的安全与隐私问题进行了全面的研究,从安全与隐私问题、对抗性攻击的脆弱性、滥用影响、缓解策略以及当前策略的局限性等五个主题角度进行深入探讨,并提出了未来研究的有前景的方向,以增强 LLMs 的安全和风险管理。
Mar, 2024
通过对大规模语言模型的调查,本研究首次提供了关于语言模型隐私的技术综述,包括攻击与缓解策略的分类、现有攻击的趋势、现有缓解策略的强项与局限性,找出关键缺口并提出解决问题的方法与关切领域。
Sep, 2023
本文在探讨大语言模型的发展和分发迅速增长的背景下,关注其安全和安全相关威胁和漏洞的最新研究工作,并提供了已有的科学努力概述,以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作,希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。
Aug, 2023
大型语言模型是各种人工智能应用中的关键组件,理解它们的安全漏洞和防御机制的有效性至关重要。本文调查了 LLMs 的安全挑战,重点关注两个主要领域:Prompt Hacking 和 Adversarial Attacks,每个领域都有特定类型的威胁。通过对 Prompt Hacking 和 Adversarial Attacks 的分析,研究了它们的工作原理、潜在影响以及缓解方法。调查强调了这些安全挑战,并讨论了保护 LLMs 免受这些威胁的强大防御框架。通过详细阐述这些安全问题,调查为抵御复杂攻击的坚韧人工智能系统的构建提供了宝贵的讨论。
Jun, 2024
给出了当前针对大型语言模型(LLMs)的隐私攻击的全面分析,并对其进行了分类,同时提供了用于对抗这些隐私攻击的重要防御策略,并指出了 LLMs 发展中可能出现的新的隐私问题和未来的研究方向。
Oct, 2023
大型语言模型的安全性评估和对抗攻击是一个新兴的跨学科领域,本文调查了该领域的相关研究,并提供了对大型语言模型、安全对抗、漏洞源及潜在防御措施的综述。
Oct, 2023
应用大型语言模型(LLMs)于电力系统可以提升决策和运营效率,但也可能带来潜在安全威胁。本文分析了应用 LLMs 于电力系统可能造成的威胁,并强调了对紧急研究和开发应对措施的需求。
Nov, 2023