AAAIDec, 2023

神经排序模型的扰动不变对抗训练：改进有效性 - 鲁棒性权衡

PDF
TL;DR使用对抗性例子的神经排序模型（NRMs）在信息检索（IR）中取得了巨大的成功，但是可以通过添加不可察觉的扰动来操纵它们的预测结果。本研究通过将对抗性例子融入训练数据，建立了关于 NRMs 中效果和鲁棒性的权衡的理论保证，并设计了一种新的具有扰动不变性的对抗训练（PIAT）方法，以实现更好的效果和鲁棒性的权衡。实验结果表明，PITA 在多个排序模型上相对于现有的对抗防御方法具有优越性。
neural ranking modelsadversarial exampleseffectiveness-robustness trade-offperturbation-invariant adversarial trainingadversarial defenses
发现论文，激发创造
  • 实例自适应对抗训练：神经网络中更好的准确性和权衡

    本文提出了一种实例自适应对抗训练技术，通过在每个训练样本周围施加特定的扰动边缘来实现更好的泛化能力和测试准确性。

    Oct, 2019

  • 对抗训练的规范不可知鲁棒性

    本文研究对抗样本攻击机器学习模型并提出一种新的攻击方法，证明最先进的对抗训练方法无法同时获得对 $\ell_2$ 和 $\ell_\infty$ 范数的健壮性，提出可能的解决方案及其局限性。

    May, 2019

  • 感知式对抗鲁棒性：应对未知威胁模型的防御

    本文主要介绍了一种新的对抗训练方法，利用神经感知威胁模型中所有不可察觉的对抗样本进行训练，在训练过程中，开发了一些新的感知性对抗攻击和防御方法，最后验证了这种方法的有效性，并证明了其对多种不同类型的对抗攻击具有鲁棒性。

    Jun, 2020

  • 攻击对抗性攻击作为一种防御

    通过对敌对学习及攻击的深入探究，我们发现在敌对性训练的模型中，用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测，为此我们提出了一种有效的防御方法，是通过制造更加有效的防御扰动方法，利用敌对训练降低了地面真实的局部 Lipschitzness，同时攻击所有类别，将误导的预测转换为正确的预测，这种方法在经验实验证明有效。

    Jun, 2021

  • 扩展对抗训练以应对大扰动界限

    本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

    Oct, 2022

  • ∞范数的健壮性与更多因素：高效对抗训练技术的实现

    本篇论文阐述了对于神经网络存在攻击的情况下，如何通过对抗训练和小样本训练方法，提高模型的鲁棒性。

    Dec, 2021

  • Order-Disorder: 模拟对抗攻击用于黑盒神经排序模型

    本文提出了一种模仿对抗攻击的方法，通过基于梯度的攻击方法生成对抗触发器，对各种最先进的神经排名模型进行排序伪造，从而对抗黑盒神经通道排名模型的扰动攻击。

    Sep, 2022

  • 多扰动下的对抗训练和鲁棒性

    针对对抗样本的防御，如对抗训练，通常针对单个干扰类型（例如小的 l∞- 噪声），对于其它类型的干扰，这些防御没有保障，甚至会增加模型的脆弱性。我们的目标是了解这种鲁棒性取舍背后的原因，并训练同时对多种扰动类型具有鲁棒性的模型。

    Apr, 2019

  • 对抗性样本的（不）可避免性

    该研究提出了一个确定深度学习模型标签更改是否合理的框架，并且定义了一个自适应的鲁棒性损失，使用导出的经验公式，开发了相应的数据增强框架和评估方法，证明了其对确定性标签下的一阶最近邻分类的维持一致性，并提供了实证评估结果。

    Jun, 2021

  • 深度排序中的对抗攻击和防御

    本文提出两种针对深度排名系统的攻击，即候选攻击和查询攻击，还提出了一种反折叠三元组防御来提高排序模型的鲁棒性，并通过提出的经验鲁棒性评分来全面度量排名模型的鲁棒性，实验结果表明，我们的防御措施可以显著提高排名系统的鲁棒性，并同时缓解各种攻击。

    Jun, 2021