Mar, 2024

坚如磐石：开源基础模型能否用于为下游任务创建对抗性例子？

PDF
TL;DR基于开源的基础模型 CLIP 的先前训练，我们揭示了其对下游模型的共享对抗性漏洞，并提出了一种名为 Patch Representation Misalignment（PRM）的简单而有效的对抗性攻击策略，该方法可以同时欺骗 4 个常见视觉 - 语言任务中的超过 20 个下游模型，呼吁在这些场景中更加谨慎。
foundation modelspre-trainingadversarial vulnerabilitiesdownstream modelsadversarial attack
发现论文，激发创造
  • 对基础视觉模型的对抗性攻击

    本研究通过攻击深度特征表示来操纵开放世界感知模型，以解决封闭集下游任务，并在白盒、黑盒和模型类型迁移的情况下展示攻击的有效性，旨在识别这些模型的关键敌对弱点，以提高未来设计的鲁棒性。

    Aug, 2023

  • 基础模型作为替代模型：迈向更实用的对抗攻击

    该论文通过选择基础模型作为代理模型，提出了在 no-box 设置下生成图像噪声以满足新兴趋势的对抗攻击的创新想法，并使用基于边界的损失策略对目标图像上的基础模型进行微调，以提高攻击的效率和 AI 系统的整体鲁棒性。

    Jul, 2023

  • 多模基础模型的对抗鲁棒性

    本文研究了使用图像中的不可察觉攻击来改变多模态基础模型的标题输出，揭示了恶意内容提供者如何利用此方式伤害诚实用户，并强调了部署的多模态基础模型应采取对抗性攻击的对策。

    Aug, 2023

  • 强大的 CLIP：用于强大的大规模视觉 - 语言模型的无监督对抗微调的视觉嵌入

    我们提出了一种无监督的对抗微调方案来获得强大的 CLIP 视觉编码器，从而在依赖于 CLIP 的所有视觉下游任务（VLM，零样本分类）中获得强大的鲁棒性。

    Feb, 2024

  • 多模态基础模型的零样本鲁棒性基准测试：一项试点研究

    基于大规模的鲁棒性基准测试，本研究通过评估 CLIP 模型在自然分布偏移和对抗攻击下的性能，发现零样本多模态模型的鲁棒性明显不足，强调了对零样本多模态模型的鲁棒性进行改进的重要性。

    Mar, 2024

  • AdvCLIP：多模态对比学习中与下游无关的对抗样本

    使用 AdvCLIP 构建通用的对抗例子，用于欺骗继承了受害交叉模态预训练编码器的所有下游任务，以实现跨模态图像文本检索和图像分类等复杂任务的非目标攻击。

    Aug, 2023

  • 预训练模型引导的零样本对抗鲁棒性微调

    本研究提出了预训练模型引导的对抗微调（PMG-AFT）方法，通过精心设计辅助分支，利用原始预训练模型的监督来增强模型的零样本对抗鲁棒性。对 15 个零样本数据集进行的广泛实验证明，PMG-AFT 在顶部 1 的抗干扰准确性方面显著优于最先进的方法，平均提高了 4.99%。此外，我们的方法还能持续改善干净准确性，平均提高了 8.72%。

    Jan, 2024

  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 基础模型的持续学习：潜在重放的经验研究

    本研究探讨大规模预训练模型在下游持续学习场景中的作用，发现使用非参分类器可以在低计算开销下达到合理的 CL 性能；解释了更广泛数据预训练模型的表现，探讨了它们的表征相似性和迁移属性；展示了自监督预训练在下游领域上的有效性，和提高潜在 CL 效果的方向。

    Apr, 2022

  • 利用视觉 - 语言基础模型进行精细化下游任务

    本文提出了基于正 / 负提示公式的多任务微调策略来进一步利用视觉语言基础模型的能力，以解决 CLIP 等模型在细粒度属性检测和定位等下游任务中遇到的问题，并在 CUB200-2011 数据集上提高分类性能。

    Jul, 2023