Jun, 2024

基于梯度训练的数据污染的认证鲁棒性

PDF
TL;DR现代机器学习流程利用大量公开数据，导致无法保证数据质量，使得模型容易遭受中毒和后门攻击。本论文提出了一个框架，首次提供了有关使用潜在操纵数据进行训练的模型行为的可证明保证。该框架通过使用凸松弛来近似计算可能的参数更新集合，限制了任何梯度下降学习算法的所有可达参数集合，并提供模型性能和后门成功率的最坏情况行为的界限。该方法在能源消耗、医学成像和自动驾驶等应用的多个真实世界数据集上进行了演示。
发现论文，激发创造
  • 算法公平性的毒化攻击

    我们引入了一种针对算法公平性的优化框架，并开发了一种基于梯度的毒化攻击方法，旨在在数据的不同群体之间引入分类偏差，我们实验性地表明，我们的攻击不仅在白盒环境中有效，特别是在黑盒情况下，也对目标模型有很大影响，我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路，并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。

    Apr, 2020

  • 数据毒化攻击的认证防御

    对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨，构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法，检验了在 MNIST-1-7，Dogfish 数据集上其防御能力较强，而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。

    Jun, 2017

  • 使用反向梯度优化实现深度学习算法中的毒化技术

    该论文提出了一种基于反向梯度优化的毒化攻击算法，能够对梯度优化训练的广泛学习算法进行攻击，并在实际应用中进行了有效性评估。

    Aug, 2017

  • 面对攻击具有强鲁棒性和高可靠性的学习者

    研究了如何在多个角度上面对数据污染攻击实现强大的鲁棒性保证和提供可靠的预测，同时提供算法计算文本类问题的区间，并针对线性分离器提供了真正的多项式时间算法。

    Mar, 2022

  • 机器学习操作：回归学习的毒化攻击和对策

    该论文系统研究了线性回归模型中的污染攻击和其对策，提出了一个特定于线性回归的理论优化框架，并设计了一种面对污染攻击高度抗干扰的新型防御方法。

    Apr, 2018

  • 基于随机选择的认证防御数据污染攻击的框架

    该论文提出了一种基于随机选择的认证防御体系抵御数据毒化攻击，能通过平均从训练集中抽样的子数据集的分类器预测来实现认证的鲁棒性，该体系允许用户利用训练集和毒化模型的先前知识提高认证准确性，实验表明该方法优于现有技术水平。

    Sep, 2020

  • 基于随机平滑的防御策略对数据污染有多强健？

    本研究发现了一种对具有证明鲁棒性的分类器构成威胁的数据污染攻击，并提出了一种新型双层优化数据污染攻击，可降低其整个目标类别的平均有保障半径（ACR），以及降低 30％以上的目标类别平均有保障半径（ACR）

    Dec, 2020

  • 数据污染攻击中的不可检测性与鲁棒性：选择你的毒药

    本文研究了深度图像分类模型中毒的问题，提出了两种防御方案进行后处理，利用少量的受信任的图像标签对修复模型，防御效果优于现有的方案，并指出了检测 / 鲁棒性权衡关系和攻击的适应能力问题。

    May, 2023

  • 基于图半监督学习的数据投毒攻击统一框架

    本文提出了一个通用框架，用于针对基于图形的半监督学习（G-SSL）的数据投毒攻击。在真实数据集上测试了该框架，并评估了 G-SSL 算法的稳健性。

    Oct, 2019

  • 关于使用梯度塑形来有效地减轻数据投毒攻击的效果

    本文研究了机器学习算法对数据污染攻击的脆弱性，提出了一种基于梯度整形的攻击不可知防御方法，并评估了基于差分隐私随机梯度下降的可行性和有效性。研究结果表明，梯度整形是未来研究的有前途的方向。

    Feb, 2020