基于集成 LLM 方法的生成式人工智能文本分类
近期大型语言模型(LLMs)在各种风格和体裁的文本生成方面展示了惊人的能力。然而,这种能力容易被滥用,如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此,建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简单而高效的解决方案,通过集成多个组成 LLM 的预测来解决这个问题。相较于以往基于困惑度或使用众多 LLM 的集成方法,我们的简化集成方法仅使用两个组成 LLM 即可达到可比较的性能。在四个生成文本分类基准数据集上进行的实验证明,与以往的最先进方法相比,性能提升范围在 0.5%到 100%之间。我们还研究了来自各个 LLM 的训练数据对模型性能的影响。结果表明,将商业限制的生成预训练变压器(GPT)数据替换为其他开放语言模型生成的数据,如 Falcon、Large Language Model Meta AI(LLaMA2)和 Mosaic Pretrained Transformers(MPT),是开发生成文本检测器的可行替代方法。此外,为了展示零 - shot 推广能力,我们在一个英语散文数据集上进行了实验,结果表明我们的集成方法可以有效处理新数据。
Nov, 2023
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
研究表明,利用大型语言模型可以高准确度地区分人工智能生成的文本和人类编写的文本,尤其在语义方面会更加有帮助,而句法方面还有改进的空间。
Feb, 2024
我们的研究通过将 Sci-BERT、DeBERTa 和 XLNet 等变形器模型与卷积神经网络 (CNNs) 进行集成,构建了一些分类模型,实验证明考虑的集成架构在分类方面的性能超过了单个变形器模型。此外,所提出的 SciBERT-CNN 集成模型在 ALTA 共享任务 2023 数据上产生了 98.36% 的 F1-score。
Oct, 2023
该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述,并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。
Feb, 2023
通过对三种不同方法进行深入评估,即传统的浅层学习、语言模型(LM)微调和多语言模型微调,本文对文本生成的重要性有了显著进展,尤其是在区分人类和机器生成文本方面,结果表明这些方法在性能上存在显著差异,强调了在自然语言处理领域中继续推进的重要性,为未来创造强大且具有高度辨别力的模型铺平了道路。
Nov, 2023
通过引入一个新的系统 T5LLMCipher,结合预训练的 T5 编码器和 LLM 嵌入子聚类,我们在 9 个不同生成器和领域中评估了我们的方法,并发现与现有方法相比,我们的方法在看不见的生成器和领域中对机器生成的文本的 F1 得分平均提高了 19.6%,正确属性文本的生成器的准确率达到 93.6%。
Jan, 2024
通过基于 Transformer 模型的 LLM AI 文本生成检测工具,提高 AI 文本生成检测的准确性并为后续研究提供参考;通过深度学习模型的训练和验证,表明该模型对 AI 生成文本具有良好的检测和分类能力,并具有广泛应用前景。
Apr, 2024
本文提出一种新的三元文本分类方案,包括 “未决” 类别,研究了如何使检测结果更易理解,重点在于为用户提供清晰明了的解释。通过构建新的数据集,使用先进的检测方法和最新的 LLMs,该研究发现 “未决” 类别对于文本检测的可解释性至关重要,并提出了未来改进解释能力的检测系统的指导方针。
Jun, 2024
本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法,包括统计、神经网络和预训练模型方法,并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下,我们的方法在子任务 A 单语上获得 86.9%的准确率,在子任务 B 上获得 83.7%的准确率。此外,我们还强调了未来研究中的挑战和重要因素。
Mar, 2024