Mar, 2019

针对差分隐私学习器的数据毒化攻击与防御

PDF
TL;DR本文旨在研究数据污染攻击及其对机器学习的影响，提出差分隐私保护措施以防范攻击， 并设计了攻击算法，试图从目标和输出的角度影响学习器，实验结果表明，攻击者在污染足够多的训练数据时，攻击方法的有效性较高。
发现论文，激发创造
  • 在线学习中的数据投毒攻击

    此研究考虑了数据污染攻击领域，并对在线学习中的数据污染攻击进行了系统性研究，采用了一种优化策略并提出了三种解决方案，最终讨论了防御成功所需的因素。

    Aug, 2018

  • 数据毒化攻击的认证防御

    对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨，构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法，检验了在 MNIST-1-7，Dogfish 数据集上其防御能力较强，而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。

    Jun, 2017

  • 真相血清：毒化机器学习模型揭示它们的秘密

    介绍了一种新的针对机器学习模型的攻击方式，即通过污染训练数据集，导致模型泄露属于其他用户的私人数据。该攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。

    Mar, 2022

  • 可转移的可用性毒化攻击

    用于训练数据的小扰动攻击机器学习模型的可用性数据中毒攻击有可能泛化到不同的学习算法和范式，并提出了可转移的中毒攻击来生成高频中毒扰动，该攻击具有显著改善的可转移性。

    Oct, 2023

  • 数据中毒了吗？防御神经网络数据中毒攻击

    本研究探讨了对洁净标签下的中毒攻击的防御方法，并提出了一种在迁移学习环境中检测和过滤被中毒数据点的新方法，通过实验分析表明，我们的方法能够在特征向量空间中有效区分有效的中毒点和干净点，并通过多个架构、数据集和中毒预算的比较，充分评估了我们的方法，结果显示我们的方案在所有实验设置中均优于现有方法的防御率和最终训练模型性能。

    Mar, 2024

  • 差分隐私与对抗鲁棒机器学习：实证评估

    使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

    Jan, 2024

  • 审计差分隐私机器学习：隐私难道不够隐私？(Auditing Differentially Private Machine Learning: How Private is Private SGD?)

    我们使用新的数据污染攻击研究不同 ially Private SGD 的隐私保护是否比其最先进的分析保证更好，并量化实现差异隐私算法提供的隐私保护，以便在分析隐私的工作上实现补充和影响。

    Jun, 2020

  • 通过异常检测在污染攻击中检测对抗训练样例

    本文提出一种防御机制来弥补机器学习中数据毒化的影响，该机制基于离群值检测来检测所谓的最优攻击策略生成的对抗样本与真实样本之间的差异。

    Feb, 2018

  • 更强的数据投毒攻击突破数据清洗防御

    本文研究机器学习模型在训练时通过数据毒化攻击注入恶意数据点的危害以及数据清洗防御措施的不足。通过协调毒化点放置位置和基于约束条件设计攻击的方式，开发三种不同方法规避现有的数据清洗防御措施。这些攻击方法均基于耗时的二级规划问题，并通过影响函数，极小 - 极大假说和 Karush-Kuhn-Tucker（KKT）条件来实现。我们的实验结果表明需要开发更稳健的数据清洗防御措施以应对数据毒化攻击的威胁。

    Nov, 2018

  • 人工智能中的毒化攻击与防御：一项调研

    本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞，并介绍了几种可行的检测和缓解机制，比较了不同方法的性能以及固有属性，如可靠性、隐私和可解释性。同时，提供了未来研究方向的参考。

    Feb, 2022