ICLRMay, 2021

简单透明对抗样本

PDF
TL;DR通过引入秘密嵌入和透明对抗性示例作为一种更简单的评估鲁棒性的方法，本文在实际部署的 Google Cloud Vision API 和 Microsoft Azure 的 Computer Vision API 等场景下评估其恶意攻击的成功率，结果表明这种方法非常容易使人产生视觉上的欺骗，并能成功逃避现有的最先进 API，为当前研究提供一种补充的鲁棒性评估方法。
machine learning as a servicevision apisadversarial attacksobject detectionrobustness evaluation
发现论文，激发创造
  • Google Cloud Vision API 对噪声不够稳健

    本文评估了 Google Cloud Vision API 对图像摄动输入的鲁棒性，并证明添加足够的噪音到图像中能够欺骗该 API 的分类器，从而证明了该 API 在对抗性环境中的脆弱性，并建议采用噪声过滤的方式改善该 API 的图像分析能力。

    Apr, 2017

  • 对云端图像分类器服务攻击的对抗样本可迁移性研究

    本篇研究提出一种新的攻击方法，在云平台上进行黑盒攻击，并提出防御技术。攻击方法使用一种代替模型的方法，只使用很少的查询次数就能以超过 90％的准确率成功攻击不同的分类服务。

    Jan, 2020

  • 透明层叠攻击：如何通过几乎不可察觉的图像层来欺骗人工智能视觉

    探索图像预处理方法引入隐形透明度，触发人工智能对人眼所感知内容的错误解读，通过数据集污染使灰度地景和标志集合的标签错误分类，这种隐形透明度混淆了包括人脸识别、数字水印、内容过滤、数据集筛选等领域中复杂视觉系统，与传统针对像素值修改的对抗攻击不同。

    Jan, 2024

  • 抢先行动，后继攻击：评估目标检测系统对黑盒对抗攻击的鲁棒性

    利用‘偷现，解密后’的攻击方式，在黑盒情况下生成幽灵对象的可行性研究，证明了该攻击可以成功地利用 AI 服务的潜在漏洞，给 AI 安全带来了重大威胁。

    Apr, 2024

  • 语义对抗样本

    本文提出了一种新类的对抗样本 ——“语义对抗样本”，即通过对图像进行任意扰动来欺骗模型，但修改后的图像在语义上代表的仍是原始图像，通过构建约束优化问题和基于人类认知系统的形状偏置特性的对抗变换，生成对抗图像的颜色转移极大影响了 Deep neural networks 模型精度。

    Mar, 2018

  • 窃取隐形：通过对抗样本和时间侧信道揭示预训练的卷积神经网络模型

    基于对对抗性图像分类模式的观察，我们提出一种用于盗取模型的方法，结合时间侧信道和对抗性图像分类，以指纹识别多个著名的卷积神经网络和 Vision Transformer 架构，该方法可在减少查询次数的同时保持高准确率。

    Feb, 2024

  • 对抗图像翻译：面部识别系统中的无限对抗样本

    利用图像翻译技术生成无限制的对抗样本，欺骗目标脸部识别系统并通过认证防御，实现了攻击成功率约为 90% 和 80% 的结果，同时保持个体的可识别性和感知逼真度。

    May, 2019

  • 基于 3D 点云深度学习的极小对抗样本

    本论文通过对点云模型的对抗攻击提出了全新的统一公式，此方法可以攻击分类模型的功能，考虑到攻击点的感知能力，并确保最小程度上的点操作，实验证明此方法在合成数据和真实数据上均取得了超过 89% 和 90% 的攻击成功率，并仅操作了总点数约 4%。

    Aug, 2020

  • 当视觉失败：对 ViT 和 OCR 的文本攻击

    本文探讨了基于文字的机器学习模型对视觉输入的抵抗力，并表明他们仍然容易受到以文本编码的视觉对抗性示例的攻击，使用 Unicode 功能组合变音符号来操纵编码文本，演示使用遗传算法生成黑盒威胁视觉对抗性示例的效力，并进行用户研究以证明这些模型欺骗性示例不会影响人类理解。最后，通过制造针对 Facebook，Microsoft，IBM 和 Google 发布的生产模型的对抗性示例，展示了这些攻击的实际效果。

    Jun, 2023

  • 自然对抗样本

    使用对抗性过滤技术构建了两个具有挑战性的数据集，分别是 ImageNet-A 和 ImageNet-O，这两个数据集的出现使得计算机视觉模型的性能大幅下降，而现有的数据增强技术和公共训练数据集的使用带来的改进有限。

    Jul, 2019