Feb, 2024

利用语言和视觉 AI 系统中的 Alpha 透明度

PDF
TL;DR通过研究我们发现了一种基于 PNG 图像文件格式中的 Alpha 透明图层的新利用方法，它有潜力欺骗多个人工智能视觉系统。这种方法利用 Alpha 图层作为一个对人类观察者来说不可见但完全可被人工智能图像处理器使用的秘密通道。我们测试的范围涵盖了苹果、微软、谷歌、Salesforce、Nvidia 和 Facebook 的代表性视觉系统，突显了该攻击的潜在广度。这种漏洞挑战了现有和实施的视觉系统的安全协议，从医学成像到自动驾驶技术。我们的实验证明，受影响的系统依赖于卷积神经网络或最新的多模态语言模型，无法通过简单的补丁或更新迅速缓解这些漏洞。相反，它们需要重新训练和架构改变，这表明多模态技术中存在着一个对这种视觉语言攻击毫无防范的持久漏洞。
exploitpng imagealpha transparency layerai vision systemsvulnerability
发现论文，激发创造
  • 透明层叠攻击：如何通过几乎不可察觉的图像层来欺骗人工智能视觉

    探索图像预处理方法引入隐形透明度，触发人工智能对人眼所感知内容的错误解读，通过数据集污染使灰度地景和标志集合的标签错误分类，这种隐形透明度混淆了包括人脸识别、数字水印、内容过滤、数据集筛选等领域中复杂视觉系统，与传统针对像素值修改的对抗攻击不同。

    Jan, 2024

  • 简单透明对抗样本

    通过引入秘密嵌入和透明对抗性示例作为一种更简单的评估鲁棒性的方法，本文在实际部署的 Google Cloud Vision API 和 Microsoft Azure 的 Computer Vision API 等场景下评估其恶意攻击的成功率，结果表明这种方法非常容易使人产生视觉上的欺骗，并能成功逃避现有的最先进 API，为当前研究提供一种补充的鲁棒性评估方法。

    May, 2021

  • 揭示的弱点：对病理影像的多模式视觉语言模型进行对抗攻击

    本研究探讨了医学人工智能领域中 Vision Language 基础模型 PLIP 在有针对性对抗情况下的潜在脆弱性，通过利用 the Kather Colon 数据集的 7180 个 H&E 图像跨九种组织类型，我们使用 Projected Gradient Descent（PGD）对抗性攻击，刻意引发错误分类，结果显示 PLIP 的预测被篡改的成功率达到 100%，凸显其对对抗扰动的敏感性。对对抗性示例的定性分析探讨了解释性挑战，揭示了对抗操纵引发的预测微妙变化，这些发现对医学图像中的 Vision Language 模型的解释性、领域适应性和可信度提供了关键见解，突显了确保 AI 模型可靠性的强大防御的紧迫性。

    Jan, 2024

  • 当视觉失败：对 ViT 和 OCR 的文本攻击

    本文探讨了基于文字的机器学习模型对视觉输入的抵抗力，并表明他们仍然容易受到以文本编码的视觉对抗性示例的攻击，使用 Unicode 功能组合变音符号来操纵编码文本，演示使用遗传算法生成黑盒威胁视觉对抗性示例的效力，并进行用户研究以证明这些模型欺骗性示例不会影响人类理解。最后，通过制造针对 Facebook，Microsoft，IBM 和 Google 发布的生产模型的对抗性示例，展示了这些攻击的实际效果。

    Jun, 2023

  • 尽管有定位和注意力机制，仍然能够欺骗视觉和语言模型

    本文研究了视觉和语言模型的对抗样本，评估发现在具备自然语言理解和复杂结构（如注意力、边界框定位和组合内部结构）的模型中可以生成高成功率的对抗样本，这些观察结果可以帮助建立有效的防御措施。

    Sep, 2017

  • 像人类一样进行文本处理：对自然语言处理系统进行视觉攻击和防御

    本篇研究探讨了将文本进行视觉篡改后对 NLP 系统的攻击方法，在字符级别、单词级别和句子级别的任务中，神经模型和非神经模型的性能都会降低高达 82%，并研究了三种防御方法 —— 视觉字符嵌入、对抗性训练、基于规则的恢复 —— 这些方法可显著提高模型的鲁棒性，但与攻击未发生时的性能相比仍有一定差距。

    Mar, 2019

  • 无法察觉的人类图像，可被机器识别

    本文提出了一种有效的隐私保护学习范式，通过对图像进行加密以实现人类不可察觉机器可识别，将这一方法应用于图像分类和目标检测，在 ImageNet 和 COCO 数据集上实验结果表明，这种方法可以实现与现有方法相当的准确性且能够确保加密图像的隐私安全。

    Jun, 2023

  • 跨界攻击：对 AI 系统可转移攻击的综合调查

    综合探索传输攻击的学习方法，着重在网络安全的背景下，通过不同领域的研究，对传输攻击的架构和影响进行分类和评审，并提出了未来的研究方向。

    Nov, 2023

  • 不可察觉的自然语言处理攻击

    本研究探索了一种新的文本诱骗攻击方式，使用对人眼不可见的编码特定干扰，攻击了广泛应用于神经机器翻译和网络搜索引擎等自然语言处理系统的文本模型，破坏了系统的性能，提出了输入净化的需求。

    Jun, 2021

  • 面向自动驾驶中基于视觉和语言模型的可转移攻击的研究

    借助于大规模视觉 - 语言模型，本研究探索了针对自动驾驶系统的印刷攻击，重点关注真实交通场景中这些攻击的部署方式及其对决策自主性的潜在影响，对于已有的大规模视觉 - 语言模型表示特别有害的印刷攻击引起了社区的关注。

    May, 2024