Sep, 2024

TA-Cleaner：多模态对比学习中的细粒度文本对齐后门防御策略

HTML
PDF
TL;DR本研究针对多模态对比学习中的后门攻击问题，提出了一种新的细粒度文本对齐清理器（TA-Cleaner），以解决现有CleanCLIP策略在复杂攻击下的防御性能不足。实验结果表明，TA-Cleaner在六种攻击算法下展现了先进的防御效果，显著降低了后门攻击的成功率，具有重要的应用价值。
发现论文，激发创造
  • 使用噪声增强对比学习的文本后门防御

    该研究提出了基于噪声增强对比学习（NCL）框架，以保护使用不可信数据训练模型的文本后门攻击。实验表明该方法的有效性，比先前的研究表现更好。

    Mar, 2023

  • CleanCLIP: 多模态对比学习中缓解数据污染攻击

    介绍了一种解决多模态表征学习领域中后门攻击问题的新方法CleanCLIP，可以帮助模型减弱后门数据带来的错误训练结果。同时，该方法可以通过对单个模态的预训练任务进行微调的方式来提高模型的鲁棒性。

    Mar, 2023

  • 对抗攻击下的稳健对比语言-图像预训练

    本文提出了 RoCLIP 方法，通过与一组随机示例进行比较来有效地断开损坏图像-字幕对之间的关联，从而实现对 CLIP 多模态模型的强化预训练和微调，有效降低目标数据污染和后门攻击的成功率，并提高模型性能。

    Mar, 2023

  • 安全第一：针对有针对性数据污染和后门攻击的预训练 CLIP

    SAFECLIP通过应用单模态对比学习预训练CLIP模型，通过逐渐增加安全子集的大小，有效地防止了有针对性的数据污染和后门攻击，而不损害CLIP在各种数据集上的性能。

    Oct, 2023

  • BadCLIP: 多模态对比学习的双嵌入引导后门攻击

    本文介绍了一种名为 oolns 的抵抗后门检测和模型优化防御的攻击，通过基于贝叶斯规则的双嵌入引导框架，在自然触发模式中实现了视觉触发模式的文本目标语义近似，并通过优化视觉触发模式与目标视觉特征的一致性对目标样本进行了污染，证明其对现有的后门防御具有显著优势，引发了对多模态对比学习的潜在威胁的关注，并鼓励开发更加健壮的防御机制。

    Nov, 2023

  • 去学习后门威胁：通过本地令牌去学习增强多模态对比学习的后门防御

    不同模态对比学习在构建高质量特征方面具有很大的潜力，但其开放性意味着可能遭受后门攻击。本文从模型遗忘的角度探讨了一种防御机制，即通过构建一小组有毒样本，迅速消除后门威胁。实验结果表明，该方法不仅能保证攻击的成功率最小化，还能保持模型的高准确性。

    Mar, 2024

  • BDetCLIP：多模态提示对照测试时后门检测

    通过对类描述文本和图像之间的余弦相似度分布差异进行对比，我们提出了BDetCLIP，一种用于检测植入后门样本的创新测试时间后门检测方法，该方法相对于现有的后门检测方法在效果和效率方面都具有优势。

    May, 2024

  • 防御文本到图像扩散模型：文本扰动对后门攻击的惊人有效性

    本研究旨在解决文本到图像扩散模型面临的后门攻击问题，指出现有的防御措施尚未充分探索。作者提出了一种新颖的防御策略——文本扰动，证明其能够有效抵御先进的后门攻击，并在图像生成质量上保持最小损失。该研究为后续攻击与防御策略的研究提供了重要的见解。

    Aug, 2024

  • CLIP中的对抗性后门防御

    本研究针对多模态对比预训练模型（如CLIP）在后门攻击中易受攻击的问题，提出了一种新颖的数据增强策略——对抗性后门防御（ABD）。该方法通过与精心设计的对抗样本对齐特征，有效地打断了后门关联，实现了对传统单模态和多模态后门攻击的强有力防御，显著降低了攻击成功率。

    Sep, 2024

  • 多模态对比学习中的高效后门防御：一种缓解威胁的标记级别遗忘方法

    本研究解决了多模态对比学习中后门攻击的安全风险，提出了一种基于机器遗忘的高效防御机制。通过创建小规模的中毒样本并采用新的标记级别部分遗忘训练方案，本文显著提高了模型在面对后门攻击时的防御效率，同时保持了较高的干净准确率。

    Sep, 2024