基于自然语言处理和机器学习方法的检测人工智能生成的文本
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
本研究提出了一种方法来准确区分 AI 生成和人工撰写的书评,通过使用迁移学习,该方法能够在不同主题上识别生成的文本,并提高对写作风格和词汇变化的检测能力。实验结果表明,能够检测文本的原始来源,达到了 96.86% 的准确率。为了确保人工生成内容的完整性和真实性,扩大对大型语言模型在文本识别方面的能力和限制的理解对于有效地应用类似的模型以及确保内容的整体和真实性将是有价值的。
May, 2024
本文介绍了直接来源检测的概念,并评估了生成型 AI 系统是否能够识别其输出并将其与人工编写的文本加以区分。结果表明,Google 的 Bard 模型表现出最大的自检测能力,准确率达到 94%,其次是 OpenAI 的 ChatGPT,准确率为 83%。而 Anthropic 的 Claude 模型似乎无法自检测。
Dec, 2023
使用预训练的生成模型,比如 GPT-3、GPT-NeoX 或 OPT,将人工生成的文本与机器生成的文本相区分的重要性逐渐增加。我们通过改善五个不同的语言模型来生成合成推文,并发现浅层学习分类算法(如朴素贝叶斯)在检测准确率方面达到了 0.6 至 0.8 之间的水平。与基于人类的检测相比,浅层学习分类器在使用较高温度值进行文本生成时的检测准确率较低。人类更注重语言可接受性,而较低温度值下的可接受性更高。相比之下,基于转换器的分类器具有 0.9 及以上的准确度。我们发现使用强化学习方法改进生成模型可以成功逃避 BERT-based 分类器,使其检测准确率达到 0.15 或更低。
Oct, 2023
我们的研究旨在探索传统和新的特征,以便 (1) 检测 AI 生成的文本和 (2) 由 AI 改写的文本。结果显示,新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在 F1 分数上超过了 GPTZero 的 183.8%。
Aug, 2023
本文提出了一种新颖的混合方法,将传统的 TF-IDF 技术与先进的机器学习模型相结合,包括贝叶斯分类器、随机梯度下降(SGD)、分类梯度提升(CatBoost)和 12 个 Deberta-v3-large 模型的实例。通过在全面的数据集上进行广泛的实验,我们证明了我们提出的方法在准确区分人工生成和 AI 生成文本方面的有效性。与现有方法相比,我们的方法取得了更好的性能。这项研究为 AI 生成文本检测技术的进展做出了贡献,并为应对 AI 生成内容带来的挑战开发出稳健的解决方案奠定了基础。
Jun, 2024
我们的研究重点是辨别大型语言模型生成的文本与人类生成的文本之间的关键挑战,这在各种应用中具有重要意义。通过评估我们的模型在多个数据集上的性能,包括 Twitter 情感、足球评论、项目古腾堡文库、PubMedQA 和 SQuAD,我们提供了支持此类模型可行性的证据。这些数据集在复杂约束下进行了采样,涵盖了各种可能性,为未来研究奠定了基础。我们对 GPT-3.5-Turbo 与 SVM、RoBERTa-base 和 RoBERTa-large 等各种检测器进行了评估,基于研究结果,结果主要与句子的序列长度有关。
Nov, 2023
本文针对科学文献中 AI 生成的文本与人类编写的文本之间的差距进行了探讨,提出了一个通过语法、语义和语用来区分 AI 文本的框架,进而将提取到的特征用于分析两种不同类型的内容,发现 AI-generate 的科学文本在深度和总体质量方面还有待提高,并存在事实性问题等方面的差距,同时我们发现 AI-generate 的科学文本和人类编写的科学文本之间存在 “写作风格” 方面的差距,从而提出一些模型和分布无关的特征来用于其他领域的检测任务,这些研究结果有助于指导 AI 模型的优化,以产生高质量的文本,同时也有助于解决相关的伦理和安全问题。
Jan, 2023