DetectGPT-SC: 通过掩码预测的自一致性提升大型语言模型生成文本的检测
本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估,同时我们评估了其他 AI 生成的文本检测工具,以检测 ChatGPT 生成的内容。此外,我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明,现有方法都不能有效地检测 ChatGPT 生成的内容。
Apr, 2023
研究中探讨了 ChatGPT 作为 AI 生成文本检测器的性能,通过评估它在人工编写与 AI 生成文本检测任务上的零样本表现,并对公开可用的数据集进行实验。结果发现 ChatGPT 以及类似的大型语言模型可在自动化检测流程中发挥作用,通过专注于解决问题的一个特定方面并从该解决方案派生出其他方面的解决方案。
Aug, 2023
用于区分 ChatGPT 生成文本和人类生成文本的当前方法的综述,包括构建用于检测 ChatGPT 生成文本的不同数据集,采用的各种方法,对人类与 ChatGPT 生成文本特征的定性分析,并最终总结研究结果为一般性见解。
Sep, 2023
本篇研究针对近年来大模型语言技术的快速普及及不断提高的适应性,提出了具有高效性和稳定性的人造文本检测方法。该方法能够辨别多种模型和解码策略生成的人造文本,并具有抗检测的能力。此外,研究还对机器生成文本检测机制的鲁棒性做出了贡献,揭示了在使用大规模语言模型技术时存在的社会和伦理问题,并提出了相应的解决方案。
May, 2023
ChatGPT 是最流行的语言模型之一,在各种自然语言任务上表现出色。本研究的目的是全面调查这些方法在分布偏移下的泛化行为,包括提示、文本长度、主题和语言任务,从而为 ChatGPT 检测的未来方法或数据收集策略的开发提供指导。
Oct, 2023
本文提出了一种有效的聊天 GPT 检测器 DEMASQ,能够准确识别由 ChatGPT 生成的内容,并通过基于多普勒效应的优化和可解释的 AI 技术生成多样的扰动,从而解决了人类和机器生成内容的不同偏差以及为了规避先前的检测方法而做出的修改。通过创建涵盖医疗、开放问答、金融、维基和 Reddit 等领域的混合提示的基准数据集,我们的评估表明 DEMASQ 在识别由 ChatGPT 生成的内容方面具有高准确性。
Nov, 2023
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法,并设计、实现和训练了两种不同的文本分类模型,使用了 Robustly Optimized BERT Pretraining Approach(RoBERTa)和 Text-to-Text Transfer Transformer(T5),精度超过 97%,我们还进行了可解释性研究,展示了模型提取和区分人工编写和 ChatGPT 生成文本的关键特征的能力,研究结果为有效使用语言模型检测生成文本提供了重要的见解。
May, 2023
本文评估了 8 个公开可用的大型语言模型生成文本检测器的准确性,假阳性和弹性,并发现 CopyLeaks 是最准确的大型语言模型生成文本检测器,GPTKit 是减少假阳性的最佳大型语言模型生成文本检测器,而 GLTR 是最弹性的大型语言模型生成文本检测器。
Jul, 2023
本研究提出了一种基于机器学习的解决方案,可以识别 ChatGPT 生成的文本,并在分类过程中比较分析了共 11 种机器学习和深度学习算法。在 Kaggle 数据集上测试,该算法在由 GPT-3.5 生成的语料库上表现出 77% 的准确率。
May, 2023
我们提供了对大语言模型的生成文本影响的全面分析,并强调了当前最先进的 GPT 检测器中可能存在的鲁棒性缺失。为了解决学术写作中滥用大语言模型的问题,我们提出了一种基于参考文本的孪生检测器 Synthetic-Siamese,将一对文本作为查询和参考,该方法有效解决了以前检测器(OpenAI detector 和 DetectGPT)的鲁棒性缺失,并将基线性能在实际学术写作场景中提高了约 67% 至 95%。
Jan, 2024