DetectLLM：利用对数秩信息进行零样本检测机器生成的文本

May, 2023

DetectLLM：利用对数秩信息进行零样本检测机器生成的文本

DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of Machine-Generated Text

Jinyan Su, Terry Yue Zhuo, Di Wang, Preslav Nakov

TL;DR本文介绍了两种利用对数排名信息进行无样本检测的新型机器生成文本检测方法，分别为快速高效的 DetectLLM-LRR 和更加精确但需要扰动的 DetectLLM-NPR，实验证明两种方法分别优于现有技术 3.9 和 1.75 AUROC 点的绝对值。

Abstract

With the rapid progress of large language models (LLMs) and the huge amount of text they generated, it becomes more and more impractical to manually distinguish whether a text is machine-generated. Given the growing use of LLMs in social media and education, it prompts us to develop me

large language models text detection zero-shot methods log rank information perturbations

发现论文，激发创造

关于零样本机器生成文本检测器稳定性的评估

通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

Dec, 2023

检测 LLM 生成的文本的科学

该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

Feb, 2023

基于 LLM 的文本检测调查：必要性、方法和未来方向

大语言模型生成的文本检测是一项关键任务，需要开发检测器来区分其文本是否由大语言模型生成，并呼吁加强相关研究以推进负责任的人工智能实现。

Oct, 2023

DetectGPT: 使用概率曲率的零样本生成文本检测

该研究利用基于曲率的方法，提出了一种新的不需要训练分类器、收集真实或生成的文本数据集、或明确给生成文本加上水印的检测方法 DetectGPT，它可以更好地检测 20B 参数的 GPT-NeoX 生成的假新闻文章。

Jan, 2023

关于机器生成文本检测器的零样本泛化

大型语言模型的广泛发展使得检测机器生成的文本变得前所未有的重要。本研究通过收集大范围的语言模型生成数据，训练神经检测器并测试其在未经训练的生成器输出上的性能，发现中等规模语言模型训练的检测器能够零样本推广到更大的版本。作为一个具体的应用，我们证明了可以在中等规模模型的训练数据集合上构建强大的检测器。

Oct, 2023

LLMs 生成内容检测调查

综述了大规模语言模型（LLMs）生成内容检测的现有策略和基准，并指出该领域的关键挑战和前景，提倡采用更加适应性和稳健的模型来提高检测准确性，以及应对 LLMs 能力快速发展的多方面防御方法的必要性。该工作是在 LLMs 时代首部全面综述内容检测的研究，旨在为研究人员和从业者提供广泛了解 LLMs 生成内容检测的当前情况的指导参考，以保护数字信息的完整性。

Oct, 2023

一种基于 LLM 的评估自动对抗叙事生成方法的排序方法

使用大型语言模型作为评估者，提出了一种对生成的反话进行评估的新方法，通过在锦标赛格式中对生成的反话进行成对比较，建立了一个模型排名流程，并与人类偏好达到了 0.88 的相关性。此外，通过细致的评估和性能分析，发现以聊天为导向的零 - shot 生成模型在此任务中是最佳选择，前提是它们不因安全问题而拒绝生成答案。

Jun, 2024

大型语言模型的零样本文本分类器

利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

Dec, 2023

一种基于贝叶斯代理模型的 LLM 生成文本有效检测方法

本文提出了一种基于贝叶斯代理模型的机器文本检测方法，能够有效提高查询效率，并在低查询预算下实现更好的性能，相比于 DetectGPT，查询次数减少了最多 2 倍，AUROC 提高了 3.7%。

May, 2023

SemEval-2024 任务 8：多领域机器生成文本检测技术的综合分析

本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法，包括统计、神经网络和预训练模型方法，并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下，我们的方法在子任务 A 单语上获得 86.9％的准确率，在子任务 B 上获得 83.7％的准确率。此外，我们还强调了未来研究中的挑战和重要因素。

Mar, 2024