Aug, 2023

AI 代码生成器中的漏洞：探索有针对性的数据中毒攻击

PDF
TL;DR通过数据污染评估 AI 代码生成器的安全性，这是一种通过将恶意样本注入训练数据以生成易受攻击代码的攻击方法；我们通过注入含有安全漏洞的代码来污染训练数据，并评估该攻击对代码生成的最新模型的成功程度。我们的分析显示，即使是少量的数据污染，也会使 AI 代码生成器变得容易受攻击。此外，该攻击不会影响预训练模型生成的代码的正确性，这使得难以检测。
发现论文，激发创造
  • AI 生成代码的安全隐患：通过取消修复代码来破坏程序

    基于人工智能的代码生成器在帮助开发人员从自然语言中编写软件方面起到了重要作用。本文提出了一种新颖的数据污染攻击，其影响是生成易受攻击的代码。我们对这些攻击对代码生成的最新模型的影响进行了广泛评估，并讨论了潜在的解决方案。

    Mar, 2024

  • 人工智能中的毒化攻击与防御：一项调研

    本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞，并介绍了几种可行的检测和缓解机制，比较了不同方法的性能以及固有属性，如可靠性、隐私和可解释性。同时，提供了未来研究方向的参考。

    Feb, 2022

  • 使用生成对抗网络进行的投毒攻击

    本文介绍了一种新的生成模型，用于对机器学习分类器进行攻击，并提出了一种生成式对抗网络，包括生成器、鉴别器和目标分类器，以模拟在现实攻击中可以预期的检测限制，进而确定底层数据分布的易受数据中毒攻击的区域。

    Jun, 2019

  • 强制生成模型退化：数据注毒攻击的力量

    通过细粒度的实验，我们展示了在大语言模型的精调阶段仅仅使用总数据样本的 1% 即可成功地对大语言模型进行毒化，这是针对自然语言生成任务进行的首次系统性理解并考虑了多种触发方式和攻击设置的毒化攻击。

    Dec, 2023

  • 深度源代码处理模型的毒性攻击和防御

    为了验证现有的深度源代码处理模型对毒攻击的脆弱性和提出防御措施，我们提出了一个名为 CodePoisoner 的毒攻击框架和一个有效的防御方法 ——CodeDetector，然后将它们应用于缺陷检测，克隆检测和代码修复。

    Oct, 2022

  • 野外模式再載：機器學習對抗訓練數據毒化安全綜述

    本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评，主要关注于视觉应用程序，并讨论了当前的限制和开放性的研究问题。

    May, 2022

  • 真相血清：毒化机器学习模型揭示它们的秘密

    介绍了一种新的针对机器学习模型的攻击方式，即通过污染训练数据集，导致模型泄露属于其他用户的私人数据。该攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。

    Mar, 2022

  • 神经网络生成对抗攻击方法

    本论文研究了在机器学习算法中，特别是深度神经网络中毒攻击的方法，提出了生成毒瘤数据的生成方法，并设计了一种检测方法来检测这种攻击。实验结果表明，与直接梯度法相比，这种方法可以加速毒瘤数据的生成速度高达 239.38 倍，且模型的准确度下降略微较低。

    Mar, 2017

  • 机器学习数据集安全性：数据投毒、后门攻击和防御

    介绍机器学习系统中数据集安全领域的各种潜在威胁及其防御方法，并提出解决这些问题的未解之谜。

    Dec, 2020

  • 自然语言处理模型中的隐蔽数据毒化攻击

    本研究开发了一种新的数据污染攻击方法，能够在训练数据中插入少量样本并控制模型预测结果，其中包含一个特定的强制词，同时提出了三种缓解该攻击的防御策略。

    Oct, 2020