Oct, 2023

零样本检测机器生成代码

PDF
TL;DR提出了一种对 LLMs 生成的代码进行训练无关的检测方法，以减少与它们的无差别使用相关的风险。通过对现有的基于训练或零样本的文本检测方法进行研究，我们发现这些方法对代码的检测不够有效，可能是由于代码结构中所具有的独特统计特性。本研究通过修改之前的零样本文本检测方法，利用代理的白盒模型来估计最右侧标记的概率，从而能够识别由语言模型生成的代码片段。通过对 CodeContest 和 APPS 数据集的 Python 代码进行大量实验，我们的方法在 text-davinci-003、GPT-3.5 和 GPT-4 模型上取得了最新的检测结果，并且对修订攻击具有鲁棒性，并且对 Java 代码具有很好的通用性。同时，我们还发现较小的代码语言模型 PolyCoder-160M 作为通用代码检测器的表现优于十亿级别的对应模型。代码可在此 https URL Xianjun-Yang/Code_detection.git 获取。
training-free approachdetectionllms-generated codeszero-shot detection techniquescode structures
发现论文，激发创造
  • 关于机器生成文本检测器的零样本泛化

    大型语言模型的广泛发展使得检测机器生成的文本变得前所未有的重要。本研究通过收集大范围的语言模型生成数据，训练神经检测器并测试其在未经训练的生成器输出上的性能，发现中等规模语言模型训练的检测器能够零样本推广到更大的版本。作为一个具体的应用，我们证明了可以在中等规模模型的训练数据集合上构建强大的检测器。

    Oct, 2023

  • 关于零样本机器生成文本检测器稳定性的评估

    通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

    Dec, 2023

  • ChatGPT 代码检测：揭示代码来源的技术

    研究论文通过使用先进的分类技术来区分由人写的代码和由 ChatGPT 生成的代码，探讨了大型语言模型在代码生成中的影响，特别是在高等教育领域的潜在风险和对策。

    May, 2024

  • 谁写的？零样本长文本生成文本检测的关键是 GECScore

    提出一种基于语法错误修正分数（GECScore）计算的黑盒零样本检测方法，通过区分人工编写和大型语言模型生成的文本，在零样本和有监督方法方面显著优于现有技术，获得平均 AUROC 为 98.7％的结果，并对近义词和对抗扰动攻击具有很强的鲁棒性。

    May, 2024

  • Fast-DetectGPT: 通过条件概率曲率高效零样本检测机器生成的文本

    介绍了一种基于条件概率曲率的新型优化零样本检测器 Fast-DetectGPT，该检测器在多个数据集、源模型和测试条件下的评估表明，在白盒和黑盒设置中，Fast-DetectGPT 不仅在 DetectGPT 之上表现出色，还将检测过程加速了 340 倍。

    Oct, 2023

  • 探究大型语言模型在代码克隆检测中的有效性

    我们研究了大型语言模型在非生成性任务中的应用，以代码克隆检测为例，通过使用基于提示的模式，ChatGPT 在跨语言代码克隆检测中表现出色，并且在单语言代码克隆检测方面与完全微调的模型的性能相当，同时，提示和问题的难度水平对 ChatGPT 的性能有影响。

    Jan, 2024

  • 一种基于贝叶斯代理模型的 LLM 生成文本有效检测方法

    本文提出了一种基于贝叶斯代理模型的机器文本检测方法，能够有效提高查询效率，并在低查询预算下实现更好的性能，相比于 DetectGPT，查询次数减少了最多 2 倍，AUROC 提高了 3.7%。

    May, 2023

  • DetectGPT: 使用概率曲率的零样本生成文本检测

    该研究利用基于曲率的方法，提出了一种新的不需要训练分类器、收集真实或生成的文本数据集、或明确给生成文本加上水印的检测方法 DetectGPT，它可以更好地检测 20B 参数的 GPT-NeoX 生成的假新闻文章。

    Jan, 2023

  • G3Detector：通用 GPT 生成文本检测器

    本篇研究针对近年来大模型语言技术的快速普及及不断提高的适应性，提出了具有高效性和稳定性的人造文本检测方法。该方法能够辨别多种模型和解码策略生成的人造文本，并具有抗检测的能力。此外，研究还对机器生成文本检测机制的鲁棒性做出了贡献，揭示了在使用大规模语言模型技术时存在的社会和伦理问题，并提出了相应的解决方案。

    May, 2023

  • 应用集成方法进行模型无关的机器生成文本检测

    通过应用集成方法来检测大语言模型（LLM）产生的机器生成文本的问题，并找到简单的 DetectGPT 子模型输出的摘要统计数据在保持其零 - shot 性的同时获得 0.73 的 AUROC（相对于 0.61），受监督学习方法可以将准确性提升到 0.94 的 AUROC，但需要一个训练数据集，这表明进一步推广的可能性以创建高准确度、不依赖模型的机器生成文本检测器。

    Jun, 2024