Jan, 2024

用双筒望远镜发现 LLMs：机器生成文本的零样本检测

PDF
TL;DR利用两个紧密相关的预训练大型语言模型之间的对比得分，我们提出了一种新颖的仅需要使用这对 LLM 进行简单计算的 LLM 检测器，名为 Binoculars，它在不需要任何训练数据的情况下实现了最先进的准确性，能够在各种现代 LLM 的文本中发现机器生成的文本。在多种文档类型并且各个情况下，我们全面评估了 Binoculars 的性能，它以 0.01% 的误报率能够检测到 ChatGPT（和其他 LLM）生成的样本中超过 90% 的文本，尽管它没有接受任何 ChatGPT 数据的训练。
detectinglarge language modelsllm detectorbinocularsmachine-generated text
发现论文，激发创造
  • 关于机器生成文本检测器的零样本泛化

    大型语言模型的广泛发展使得检测机器生成的文本变得前所未有的重要。本研究通过收集大范围的语言模型生成数据，训练神经检测器并测试其在未经训练的生成器输出上的性能，发现中等规模语言模型训练的检测器能够零样本推广到更大的版本。作为一个具体的应用，我们证明了可以在中等规模模型的训练数据集合上构建强大的检测器。

    Oct, 2023

  • 一种基于贝叶斯代理模型的 LLM 生成文本有效检测方法

    本文提出了一种基于贝叶斯代理模型的机器文本检测方法，能够有效提高查询效率，并在低查询预算下实现更好的性能，相比于 DetectGPT，查询次数减少了最多 2 倍，AUROC 提高了 3.7%。

    May, 2023

  • 关于零样本机器生成文本检测器稳定性的评估

    通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

    Dec, 2023

  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 谁写的？零样本长文本生成文本检测的关键是 GECScore

    提出一种基于语法错误修正分数（GECScore）计算的黑盒零样本检测方法，通过区分人工编写和大型语言模型生成的文本，在零样本和有监督方法方面显著优于现有技术，获得平均 AUROC 为 98.7％的结果，并对近义词和对抗扰动攻击具有很强的鲁棒性。

    May, 2024

  • 基于 LLM 的文本检测调查：必要性、方法和未来方向

    大语言模型生成的文本检测是一项关键任务，需要开发检测器来区分其文本是否由大语言模型生成，并呼吁加强相关研究以推进负责任的人工智能实现。

    Oct, 2023

  • 使用深度学习的机器生成文本检测

    我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战，这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能，包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD，我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样，涵盖了各种可能性，为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估，基于研究结果，结果主要与句子的序列长度有关。

    Nov, 2023

  • 检测在计算机教育中生成的 LLM 文本：一个 ChatGPT 案例的比较研究

    本文评估了 8 个公开可用的大型语言模型生成文本检测器的准确性，假阳性和弹性，并发现 CopyLeaks 是最准确的大型语言模型生成文本检测器，GPTKit 是减少假阳性的最佳大型语言模型生成文本检测器，而 GLTR 是最弹性的大型语言模型生成文本检测器。

    Jul, 2023

  • LLM-Detector: 优化 AI 生成的中文文本检测的开源 LLM 指令调优

    本文提出了 LLM-Detector 方法，通过 LLM 指导和解决文档级和句子级的文本检测问题，该方法在句子级和文档级文本检测上明显优于基准方法，并展示了强大的泛化能力。

    Feb, 2024

  • 零样本检测机器生成代码

    提出了一种对 LLMs 生成的代码进行训练无关的检测方法，以减少与它们的无差别使用相关的风险。通过对现有的基于训练或零样本的文本检测方法进行研究，我们发现这些方法对代码的检测不够有效，可能是由于代码结构中所具有的独特统计特性。本研究通过修改之前的零样本文本检测方法，利用代理的白盒模型来估计最右侧标记的概率，从而能够识别由语言模型生成的代码片段。通过对 CodeContest 和 APPS 数据集的 Python 代码进行大量实验，我们的方法在 text-davinci-003、GPT-3.5 和 GPT-4 模型上取得了最新的检测结果，并且对修订攻击具有鲁棒性，并且对 Java 代码具有很好的通用性。同时，我们还发现较小的代码语言模型 PolyCoder-160M 作为通用代码检测器的表现优于十亿级别的对应模型。代码可在此 https URL Xianjun-Yang/Code_detection.git 获取。

    Oct, 2023