ICLRMay, 2021

适当使用正则化超参数有助于缓解毒化攻击

PDF
TL;DR本文提出了一种新的攻击策略，从而使训练数据集的一部分被操纵，降低机器学习算法的性能，研究结果表明，现行的方法过于悲观，提出的新方法可以作出优化攻击策略，选择最佳正则化参数，以及在最坏情况下评估模型的鲁棒性，实验结果表明，采用 $L_2$ 正则化可以缓解攻击的影响。
machine learningpoisoning attacksregularization hyperparameterslogistic regression$l_2$ regularization
发现论文，激发创造
  • 数据污染下的超参数学习：基于多目标二层优化的正则化影响分析

    通过优化问题、多目标优化问题、L1 和 L2 正则化训练多个机器学习分类器，以证实前面的攻击策略的局限性，并证明了使用 L2 和 L1 正则化来减轻毒化攻击效果的好处。

    Jun, 2023

  • 机器学习操作：回归学习的毒化攻击和对策

    该论文系统研究了线性回归模型中的污染攻击和其对策，提出了一个特定于线性回归的理论优化框架，并设计了一种面对污染攻击高度抗干扰的新型防御方法。

    Apr, 2018

  • 基于梯度训练的数据污染的认证鲁棒性

    现代机器学习流程利用大量公开数据，导致无法保证数据质量，使得模型容易遭受中毒和后门攻击。本论文提出了一个框架，首次提供了有关使用潜在操纵数据进行训练的模型行为的可证明保证。该框架通过使用凸松弛来近似计算可能的参数更新集合，限制了任何梯度下降学习算法的所有可达参数集合，并提供模型性能和后门成功率的最坏情况行为的界限。该方法在能源消耗、医学成像和自动驾驶等应用的多个真实世界数据集上进行了演示。

    Jun, 2024

  • 使用反向梯度优化实现深度学习算法中的毒化技术

    该论文提出了一种基于反向梯度优化的毒化攻击算法，能够对梯度优化训练的广泛学习算法进行攻击，并在实际应用中进行了有效性评估。

    Aug, 2017

  • 算法公平性的毒化攻击

    我们引入了一种针对算法公平性的优化框架，并开发了一种基于梯度的毒化攻击方法，旨在在数据的不同群体之间引入分类偏差，我们实验性地表明，我们的攻击不仅在白盒环境中有效，特别是在黑盒情况下，也对目标模型有很大影响，我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路，并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。

    Apr, 2020

  • 对抗训练线性回归的正则化性质

    最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

    Oct, 2023

  • 关于使用梯度塑形来有效地减轻数据投毒攻击的效果

    本文研究了机器学习算法对数据污染攻击的脆弱性，提出了一种基于梯度整形的攻击不可知防御方法，并评估了基于差分隐私随机梯度下降的可行性和有效性。研究结果表明，梯度整形是未来研究的有前途的方向。

    Feb, 2020

  • 更强的数据投毒攻击突破数据清洗防御

    本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式，开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题，并通过影响函数，极小 - 极大假说和 Karush-Kuhn-Tucker（KKT）条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。

    Nov, 2018

  • 毒化攻击下的鲁棒非参数回归

    本文研究了强健的非参数回归问题，提出了一种基于 Huber 损失最小化的 M 估计器解决方法，证明了该方法对于恶意样本的影响显著减弱，同时提出了一种通过将初始估计投影到 Lipschitz 函数空间以解决在小区域内攻击样本的问题的纠正方法，并给出了其收敛速度和相应的 minimax 下限。

    May, 2023

  • 野外模式再載：機器學習對抗訓練數據毒化安全綜述

    本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评，主要关注于视觉应用程序，并讨论了当前的限制和开放性的研究问题。

    May, 2022