本文针对无监督对比学习中的不分靶标数据污染攻击进行了研究。该研究首次提出了 Contrastive Poisoning,这是一种破坏性最强、最具一般性的不分靶标攻击方式。同时针对这种攻击,提出了一种基于矩阵填充的新型对策。实验证明,强调数据惯性的编码器可以更加有效地抵御这种攻击。
Feb, 2022
研究指出多模态对比学习方法训练在无噪声且未分类的数据集上可能导致后门和毒化攻击成为重要的威胁。通过少量的毒化数据,可以影响模型分类测试图片的准确性,这显然会影响训练数据集的质量。
Jun, 2021
本研究针对基于深度学习的推荐系统进行了第一次系统性研究,提出了一个注入可控用户的数据污染攻击模型并发现此攻击在小、大规模数据集上都表现出色,同时提出多种优化方法用于解决此非凸整数编程问题。
Jan, 2021
该研究系统地研究了针对基于图的推荐系统的攻击方法,将攻击行为转化为一个最优化问题,并提出可行的技术解决方案,针对广泛部署的基于图的推荐系统,攻击效果优于现有攻击方式,攻击效果显著。
Sep, 2018
本研究提出自我对比学习算法,并将其应用于会话推荐问题中,以优化物品表示空间的均匀度和减少模型复杂度,进而实现比之前的算法更好的预测性能。研究证明,该算法不需要额外的采样和数据增强操作,并在三个基准数据集上得到了统计上显著的性能提升。
Jun, 2023
本文提出了 RoCLIP 方法,通过与一组随机示例进行比较来有效地断开损坏图像 - 字幕对之间的关联,从而实现对 CLIP 多模态模型的强化预训练和微调,有效降低目标数据污染和后门攻击的成功率,并提高模型性能。
Mar, 2023
介绍了一种解决多模态表征学习领域中后门攻击问题的新方法 CleanCLIP,可以帮助模型减弱后门数据带来的错误训练结果。同时,该方法可以通过对单个模态的预训练任务进行微调的方式来提高模型的鲁棒性。
从两两比较中学习效用模型或奖励模型是许多应用领域的基础组成部分。我们通过攻击算法的两类不同方法,系统地研究了恶意攻击者通过改变偏好比较数据来达到其目的的潜在性与效果,发现最佳攻击通常能在污染数据仅占 0.3% 情况下取得 100% 的成功率,并且不同领域中效果最佳的攻击方法可能存在显著差异。此外,我们还发现简单且可扩展的以距离为基础的方法通常与最佳攻击方法具有一定的竞争力,有时甚至能明显优于基于梯度的方法,并且在我们的研究中发现了其他类污染攻击的几种先进防御方法在这种情境下的效果有限。
Feb, 2024
该研究报告通过文献综述,提供了关于推荐系统中毒攻击和对策的新分类法,并对文献中描述的 30 多种攻击进行了整理。此外,对于检测和 / 或预防毒攻击的 40 多种对策进行了评估,评估了它们对特定类型攻击的有效性。该综述为保护推荐系统抵御毒攻击提供了一个参考点,并对领域中的未解决问题和未来研究方向进行了讨论。
Apr, 2024
用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式,并提出了可转移的中毒攻击来生成高频中毒扰动,该攻击具有显著改善的可转移性。
Oct, 2023