通过数据污染评估 AI 代码生成器的安全性，这是一种通过将恶意样本注入训练数据以生成易受攻击代码的攻击方法；我们通过注入含有安全漏洞的代码来污染训练数据，并评估该攻击对代码生成的最新模型的成功程度。我们的分析显示，即使是少量的数据污染，也会使 AI 代码生成器变得容易受攻击。此外，该攻击不会影响预训练模型生成的代码的正确性，这使得难以检测。

Aug, 2023

本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞，并介绍了几种可行的检测和缓解机制，比较了不同方法的性能以及固有属性，如可靠性、隐私和可解释性。同时，提供了未来研究方向的参考。

Feb, 2022

通过细粒度的实验，我们展示了在大语言模型的精调阶段仅仅使用总数据样本的 1% 即可成功地对大语言模型进行毒化，这是针对自然语言生成任务进行的首次系统性理解并考虑了多种触发方式和攻击设置的毒化攻击。

Dec, 2023

为了验证现有的深度源代码处理模型对毒攻击的脆弱性和提出防御措施，我们提出了一个名为 CodePoisoner 的毒攻击框架和一个有效的防御方法 ——CodeDetector，然后将它们应用于缺陷检测，克隆检测和代码修复。

Oct, 2022

本文介绍了一种新的生成模型，用于对机器学习分类器进行攻击，并提出了一种生成式对抗网络，包括生成器、鉴别器和目标分类器，以模拟在现实攻击中可以预期的检测限制，进而确定底层数据分布的易受数据中毒攻击的区域。

Jun, 2019

本文利用自然语言中新的输入，即代码描述的扰动，在安全导向的代码环境下分析了这些扰动对 AI 进攻代码生成器性能的影响，并使用该方法进行了数据增强以增加训练数据的变化和多样性，证明其对扰动和非扰动代码描述的有效性。

Jun, 2023

本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评，主要关注于视觉应用程序，并讨论了当前的限制和开放性的研究问题。

May, 2022

本文提出了第一种自动发现黑盒生成模型中安全漏洞的方法，并基于少量提示提出了新颖的黑盒逆转方法。通过对高风险安全弱点的代码生成模型进行研究，我们展示了我们的方法可以自动系统地发现各种代码生成模型中的上千个安全漏洞，包括商业黑盒模型 GitHub Copilot。

Feb, 2023

本研究开发了一种新的数据污染攻击方法，能够在训练数据中插入少量样本并控制模型预测结果，其中包含一个特定的强制词，同时提出了三种缓解该攻击的防御策略。

Oct, 2020

人工智能代码生成器在软件安全研究中取得了新的进展，我们回顾了人工智能代码生成器在安全领域的应用案例，并引入了一个评估基准。

Feb, 2024