vulnerability | BriefGPT - AI 论文速递

关键词vulnerability

搜索结果 - 70

相似度度量对基于文本可解释 AI 的本地替代模型的准确稳定性估计的影响
最近的研究探讨了机器学习模型输入的局部替代方法对对抗扰动的脆弱性，其中在复杂模型下，解释被操纵，但原始输入的意义和结构保持相似。虽然已证明许多方法存在弱点，但其中的原因仍未得到深入探究。对可解释人工智能（XAI）上的对抗攻击的核心概念是用于
PDF10 days ago
ICML通过数据重要性外推在对抗训练中进行大规模数据集剪枝
基于从小数据集外推数据重要性分数的数据修剪策略，在保持鲁棒性的同时有效地减小数据集大小。
PDF13 days ago
对大型语言模型进行可证修复或攻击的隐形编辑
我们揭示了关于编辑大型语言模型的新方法和理论基础，展示了新理论如何用于评估模型的可编辑性以及揭示它们对以前未知的恶意攻击的敏感性。
PDF14 days ago
ChatBug：由聊天模板引起的对齐 LLM 的常见漏洞
大型语言模型（LLMs）在遵循用户指令和进行对话方面具有重要意义。本文研究了聊天模板对 LLMs 安全对齐的影响，并发现了一个名为 ChatBug 的潜在漏洞。通过两种攻击方式，我们证明恶意用户可以利用 ChatBug 漏洞有效引导 LLM
PDF15 days ago
KDD关于全局特征影响解释的鲁棒性
我们研究了基于表格数据训练的预测模型的全局事后解释的健壮性。预测模型中预测特征的影响是模型调试和应用科学中的重要诊断工具，然而它们在面对数据和模型扰动时的脆弱性仍然是一个未解决的研究问题。我们引入了一些理论界限来评估偏依赖图和累积局部效应的
PDF19 days ago
通过提示注入从 ChatGPT 中窃取个人信息
ChatGPT 4 和 4o 易受提示注入攻击的影响，导致攻击者可以查询用户的个人数据，该漏洞可以在不使用任何第三方工具的情况下适用于所有用户。该漏洞的严重性得到 ChatGPT 的内存特性的加剧，使攻击者可以命令 ChatGPT 来监视用
PDFa month ago
调查和揭示卷积神经网络对对抗扰动的特征级漏洞
通过对深度学习模型的不同层进行敌对性扰动攻击验证，研究表明浅层的通道组合对模型的干扰较大，在不同攻击类型中具有共享的易受攻击通道组合，而不同攻击对隐藏表示的影响存在差异且与卷积核大小呈正相关，以此为基础为未来应用开发高效的应对性防御机制奠定
PDFa month ago
令牌化的重要性！通过挑战其令牌化降低大型语言模型的性能
基于大型语言模型的令牌划分漏洞的研究，提出了对模型进行攻击的对抗性数据集（ADT），通过挑战语言模型对输入的划分，揭示令牌划分对模型性能的重要影响，并为改善语言模型能力提供优化划分过程和算法的研究方法。
PDFa month ago
ICML流形综合梯度：特征归因的黎曼几何
通过适应路径影响力的方法，了解了集成梯度（IG）在黑盒深度学习模型中存在的可靠性问题，主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集，证明了 IG 沿测地线符合黎曼数据流形
PDF2 months ago
可解释推荐的稳定性
解释性推荐在工业界和学术界近年来备受关注。在推荐系统框架中提供的解释具有多种用途：尤其是解释为什么提供建议和物品与用户个性化偏好的匹配程度。因此，解释在影响用户购买产品方面起着重要作用。然而，这些解释在不同情况下的可靠性还没有严格从经验的角
PDF2 months ago
Ti-Patch：用于无参考视频质量度量的平铺物理对抗贴片
本文提出了一种在物理空间中测试质量度量弱点的方法，该方法可用作评估质量度量韧性的额外指标，补充传统的主观比较和像素空间的弱点测试。
PDF3 months ago
隐私后门：通过污染预训练模型增强成员推断
利用小型专用数据集微调大型预训练模型来生成特定应用模型是常见的做法。然而，我们揭示了一种新的漏洞：隐私后门攻击，通过该攻击，在微调受后门影响的模型时，训练数据的隐私泄露率会显著增加。我们在不同数据集和模型上进行了大量实验证明了这种攻击的广泛
PDF3 months ago
CVPRMedBN: 对恶意测试样本的鲁棒测试时适应性
测试时间适应（TTA）已成为解决测试数据训练和测试之间意外分布变化导致性能下降的有希望的方法。本研究提出中位数批归一化（MedBN）来应对 TTA 中的恶意示例对模型造成的潜在威胁，通过在测试推理期间的批归一化层中利用中位数来进行统计估计。
PDF3 months ago
InjecAgent：在工具集成的大型语言模型代理中评估间接提示注入
通过引入 InjecAgent 基准测试，评估 LLM agents 对 IPI attacks 的脆弱性，结果显示 LLM agents 易受攻击，ReAct-prompted GPT-4 在 24% 的情况下易受攻击，并结合加强的黑客提
PDF4 months ago
不精确的遗忘需要更谨慎的评估以避免虚假隐私感
开发用于消除模型训练影响的非学习技术，研究了基于反向学习设置的成员推断攻击 (U-MIA)，发现不同类别的 U-MIA 强度与基于视觉和语言模型的现有非学习技术所提供的隐私保护高度相关，同时揭示了几种非学习算法对不同训练示例的潜在漏洞，以及
PDF4 months ago
揭示自注意机制的漏洞
通过精心设计的注意力掩码，我们提出了强大的扰动技术 “HackAttend”，通过故意扰乱 SA 矩阵中的注意力分数，揭示了当前最先进的预训练语言模型在注意力微扰下的高度脆弱性，以及我们引入的新型平滑技术 “S-Attend” 在面对各种文
PDF4 months ago
利用其优势攻击 LLM 水印
通过对现有 LLM 水印系统的攻击研究，提出了一套实用准则，用于生成和检测 LLM 水印，旨在解决水印系统在保留质量、鲁棒性和公共检测 API 等方面所面临的各种攻击问题。
PDF4 months ago
检索增强生成（RAG）中隐私问题的探索
使用检索增强生成（RAG）技术可以增强具有专有和私有数据的语言模型，在这种情况下，数据隐私是关键问题。本研究对检索增强生成系统进行了广泛的实证研究，并提出新的攻击方法来揭示其对私有检索数据库的泄露漏洞。尽管 RAG 技术存在新的风险，但它可
PDF4 months ago
LLM 作为法官是否稳健？对零样本 LLM 评估进行普适对抗攻击研究
LLM 评估器的脆弱性以及连接攻击的影响对于高风险实际场景的部署提出了重要的关注和需求。
PDF4 months ago
AAAI图神经网络中节点属性的攻击
通过特征基对抗攻击研究了图在现代社交媒体和学术应用中所具有的复杂网络，并侧重于决策时攻击和毒化攻击，与 Net Attack 和 Meta Attack 等现有模型不同，我们的研究专门针对节点属性。利用 Hellaswag 文本数据集和 C
PDF4 months ago