WWWOct, 2021

CoProtector: 用数据污染保护开源代码免受未经授权的训练使用

PDF
TL;DR本文提出了一种名为 CoProtector 的数据 Poisoning 技术，通过给源代码库武装来防御深度学习模型对开放源代码的滥用，实验证明 CoProtector 能有效实现其目的，显著降低了类 Copilot 的深度学习模型的性能，并能稳定地揭示被嵌入的秘密水印后门。
github copilotdeep learningethical concernssecurity issuessource code protection
发现论文，激发创造
  • GitHub Copilot 代码贡献的安全性评估

    通过对 AI 程序员 GitHub Copilot 生成代码中的高危漏洞相关场景的系统研究，我们发现了 40% 的代码是存在漏洞的，这造成了对代码安全性的重大担忧。

    Aug, 2021

  • 深度源代码处理模型的毒性攻击和防御

    为了验证现有的深度源代码处理模型对毒攻击的脆弱性和提出防御措施，我们提出了一个名为 CodePoisoner 的毒攻击框架和一个有效的防御方法 ——CodeDetector，然后将它们应用于缺陷检测，克隆检测和代码修复。

    Oct, 2022

  • 防止专有数据被未授权使用：安全数据集发布的毒化技术

    本文提出一种数据污染方法，能够对公开发布的数据进行最小程度的修改，以防别人使用这些数据进行模型训练，从而保护公司的数据资产，这种方法可以在线使用并成功应用于 ImageNet 分类和人脸识别。

    Feb, 2021

  • 通过廉价高效的提示工程提升 GitHub Copilot 的基于 AI 的代码合成安全性

    提出并评估了三种 Prompt 修改方法，并在实际场景中使用 OpenVPN 项目对 GitHub Copilot 的有效性进行了评估，结果表明这些方法可减少不安全的生成代码样本的数量高达 16％，增加安全代码的数量高达 8％。

    Mar, 2024

  • AI 生成代码的安全隐患：通过取消修复代码来破坏程序

    基于人工智能的代码生成器在帮助开发人员从自然语言中编写软件方面起到了重要作用。本文提出了一种新颖的数据污染攻击，其影响是生成易受攻击的代码。我们对这些攻击对代码生成的最新模型的影响进行了广泛评估，并讨论了潜在的解决方案。

    Mar, 2024

  • 对新手程序员使用 Copilot 的可用性和交互的研究

    近年来，深度学习的最新发展已经产生了从自然语言和代码提示中生成源代码的代码生成模型，在课堂上，学习编程的新手现在可以使用免费工具自动建议编程练习和作业的解决方案，然而，目前尚不清楚新手如何与这些工具实际交互。本文通过观察和采访初学者，研究了使用一种自动生成代码的工具 Github Copilot 的学生在典型的编程入门任务中的感知、交互模式和认知和元认知困难，并探讨 Copilot 等工具如何更好地支持和搭建新手编程体验的设计方案。

    Apr, 2023

  • 使用开源代码训练大型语言模型的（滥）用

    本研究探讨使用未经授权的代码构建 LLMs 所带来的安全、隐私和版权问题，并提出了四条可行的建议。

    Feb, 2023

  • CodeCloak：评估和缓解 LLM 代码助手通过代码泄漏的方法

    使用基于 LLM 的代码助手在开发者中越来越受欢迎，本研究提出了两种互补方法以减轻在使用 LLM-based 代码助手时代码泄露的风险。一种方法是通过分析开发者在开发过程中发送给代码助手的代码段（即提示）来重构开发者的原始代码库，以评估泄露给第三方（或敌对方）的程度。另一种方法是 CodeCloak，一种新颖的深度强化学习代理程序，在发送给代码助手服务之前操纵提示。CodeCloak 的目标是要同时实现两个矛盾的目标：（一）最小化代码泄露，同时（二）保留开发者相关和有用的建议。我们通过使用 GitHub Copilot、StarCoder 和 CodeLlama LLM-based 代码助手模型对多种不同规模的代码库进行了评估，证明了我们的 CodeCloak 方法的有效性，并展示其在不同模型之间的可转移性。此外，我们生成了一个真实的模拟编码环境，以对开发实际场景下的代码泄露风险进行全面分析，并评估我们提出的缓解技术的有效性。

    Apr, 2024

  • 针对黑盒代码生成模型的安全漏洞自动发现方法

    本文提出了第一种自动发现黑盒生成模型中安全漏洞的方法，并基于少量提示提出了新颖的黑盒逆转方法。通过对高风险安全弱点的代码生成模型进行研究，我们展示了我们的方法可以自动系统地发现各种代码生成模型中的上千个安全漏洞，包括商业黑盒模型 GitHub Copilot。

    Feb, 2023

  • 与 Copilot 交流：探索使用自然语言解决 CS1 问题的 Prompt Engineering

    我们在 166 个编程问题的公开数据集上评估了 GitHub Copilot 的性能，发现它能够在第一次尝试中成功解决约一半的问题，并且仅使用问题描述自然语言的变化即可解决剩余 60％的问题；我们认为这种类型的提示工程是一种提高计算思维能力的潜在有用的学习活动，很可能改变代码编写技能发展的性质。

    Oct, 2022