深度排名中的实用相对顺序攻击
本文提出两种针对深度排名系统的攻击,即候选攻击和查询攻击,还提出了一种反折叠三元组防御来提高排序模型的鲁棒性,并通过提出的经验鲁棒性评分来全面度量排名模型的鲁棒性,实验结果表明,我们的防御措施可以显著提高排名系统的鲁棒性,并同时缓解各种攻击。
Jun, 2021
本文提出了两种针对深度排序系统的攻击方法,即候选攻击和查询攻击,并且也提出了一种防御方法来提高排序系统的鲁棒性,我们的攻击和防御方法在 MNIST、Fashion-MNIST 和 Stanford-Online-Products 数据集中进行了评估。实验结果表明,我们的攻击可以有效地攻击典型的深度排序系统,同时使用我们的防御方法可以中等程度地提高系统的鲁棒性,此外,我们的攻击展示了可以实现黑盒攻击的可能性。
Feb, 2020
本文提出了一种模仿对抗攻击的方法,通过基于梯度的攻击方法生成对抗触发器,对各种最先进的神经排名模型进行排序伪造,从而对抗黑盒神经通道排名模型的扰动攻击。
Sep, 2022
深度神经网络在无参考图像质量评估中取得了令人印象深刻的成功,但最近的研究强调了 NR-IQA 模型对微小对抗扰动的脆弱性,导致模型预测与主观评分之间的不一致性。当前的对抗攻击忽视了整个图像集内得分之间的关联关系,本研究提出了一种基于关联误差的攻击框架,同时破坏图像集内的关联性和个体图像的得分变化。该研究主要关注 Spearman 等排名相关的关联度和 Mean Squared Error 等预测误差度量。通过实验证明,该方法显著破坏了 Spearman 相关系数并对个体图像的得分产生了明显的变化,同时在不同类别的指标上表现出了最先进的性能,为 NR-IQA 模型的鲁棒性提供了新的视角。
Apr, 2024
从两两比较中学习效用模型或奖励模型是许多应用领域的基础组成部分。我们通过攻击算法的两类不同方法,系统地研究了恶意攻击者通过改变偏好比较数据来达到其目的的潜在性与效果,发现最佳攻击通常能在污染数据仅占 0.3% 情况下取得 100% 的成功率,并且不同领域中效果最佳的攻击方法可能存在显著差异。此外,我们还发现简单且可扩展的以距离为基础的方法通常与最佳攻击方法具有一定的竞争力,有时甚至能明显优于基于梯度的方法,并且在我们的研究中发现了其他类污染攻击的几种先进防御方法在这种情境下的效果有限。
Feb, 2024
利用多粒度干扰生成高质量对抗性实例,通过转换为顺序决策过程实现由强化学习进行多粒度对抗攻击,两个代理共同寻找并组织干扰候选项以达到攻击目标,实验证明了该方法在攻击效果和感知隐蔽性方面优于现有基线。
Apr, 2024
针对推荐系统中模型提取攻击的首个防御策略是基于梯度的排名优化(GRO),通过将非可微的排名列表转化为可微的交换矩阵,该策略最小化受保护目标模型的损失并最大化攻击者代理模型的损失,实验证明其在防御模型提取攻击方面的卓越有效性。
Oct, 2023
该论文研究了基于图像的协同过滤推荐系统中可能存在的视觉攻击,并提出了一种新的视觉攻击模型,该模型可以有效地影响推荐系统中商品的排名,并证明了该攻击模型可以在不了解模型参数的情况下,通过对商品图像进行微小不可察觉的修改,从而提高商品的分数。
Nov, 2020
我们引入了一种针对算法公平性的优化框架,并开发了一种基于梯度的毒化攻击方法,旨在在数据的不同群体之间引入分类偏差,我们实验性地表明,我们的攻击不仅在白盒环境中有效,特别是在黑盒情况下,也对目标模型有很大影响,我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路,并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。
Apr, 2020