Ghostbuster: 检测由大型语言模型写就的文字鬼影
本文提出了一种基于贝叶斯代理模型的机器文本检测方法,能够有效提高查询效率,并在低查询预算下实现更好的性能,相比于 DetectGPT,查询次数减少了最多 2 倍,AUROC 提高了 3.7%。
May, 2023
我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战,这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能,包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD,我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样,涵盖了各种可能性,为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估,基于研究结果,结果主要与句子的序列长度有关。
Nov, 2023
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
聊天 GPT 生成科技文本检测方法 AI-Catcher 融合 MLP 和 CNN 模型,通过对语言和统计特征进行特性学习以及从文本内容中提取顺序模式的高级表示,能更准确地区分人类撰写和 GPT 生成的科技文本,平均提高 37.4% 的准确性。
Feb, 2024
本文介绍了直接来源检测的概念,并评估了生成型 AI 系统是否能够识别其输出并将其与人工编写的文本加以区分。结果表明,Google 的 Bard 模型表现出最大的自检测能力,准确率达到 94%,其次是 OpenAI 的 ChatGPT,准确率为 83%。而 Anthropic 的 Claude 模型似乎无法自检测。
Dec, 2023
评估了三种不同的 AI 文本检测器,发现水印技术存在较高的误报率,ZeroGPT 技术误报和漏报率都较高,并通过使用 ChatGPT 3.5 来将原始的 AI 生成文本改写,有效地绕过了这些检测器的误报率和漏报率。
Apr, 2024
通过使用基于转换器的神经网络的 Checkfor.ai 文本分类器,我们能够识别大型语言模型写的文本和人类写的文本。Checkfor.ai 在十个文本领域(学生写作、创意写作、科学写作、书籍、百科全书、新闻、电子邮件、科学论文、问答简述)和 8 个开源和闭源大型语言模型的综合基准测试中,相较于 DetectGPT 和其他商业 AI 检测工具,错误率降低了九倍以上。我们提出了一种训练算法,即使用合成镜像进行负样本训练,使我们的分类器在高数据领域(例如评论)能够实现数量级更低的误报率。最后,我们证明 Checkfor.ai 不对非英语母语人士存在偏见,并且在训练期间未见过的领域和模型中具有普适性。
Feb, 2024
本文提出了一种新颖的混合方法,将传统的 TF-IDF 技术与先进的机器学习模型相结合,包括贝叶斯分类器、随机梯度下降(SGD)、分类梯度提升(CatBoost)和 12 个 Deberta-v3-large 模型的实例。通过在全面的数据集上进行广泛的实验,我们证明了我们提出的方法在准确区分人工生成和 AI 生成文本方面的有效性。与现有方法相比,我们的方法取得了更好的性能。这项研究为 AI 生成文本检测技术的进展做出了贡献,并为应对 AI 生成内容带来的挑战开发出稳健的解决方案奠定了基础。
Jun, 2024
本研究基于 GPT-3 模型自动生成科学论文摘要,通过机器学习模型结合多种文本表示方法来辨别机器生成文本,并分析模型性能及讨论相关研究问题,旨在揭示人工智能生成文本的能力和局限性。
Apr, 2023