人工和人类生成文本的分类:对 ChatGPT 的特征研究
本文分析了用于英语、法语、德语和西班牙语识别人工智能生成文本和人类生成文本的特征,并对不同语言进行了比较。研究了两种情况:(1) 检测由人工智能生成的原创文本,和 (2) 检测由人工智能重新表述的文本。通过建立包含每种语言 10 个主题的新文本语料库来训练和测试这个多语言环境中的分类器。特征的组合在检测人工智能生成的文本时表现最好,说明这些特征可以应用于其他相关语言:西班牙语的 F1 得分接近 99%,英语为 98%,德语为 97%,法语为 95%。在检测人工智能重新表述的文本时,大多数情况下使用所有特征的系统效果最好,但对于德语(72%)和西班牙语(86%),仅使用文档特征最好,而对英语则仅使用文本向量特征可获得最佳结果(78%)。
Dec, 2023
本研究提出了一种基于机器学习的解决方案,可以识别 ChatGPT 生成的文本,并在分类过程中比较分析了共 11 种机器学习和深度学习算法。在 Kaggle 数据集上测试,该算法在由 GPT-3.5 生成的语料库上表现出 77% 的准确率。
May, 2023
通过监督分类的方法,我们开发了一种方法来辨别人工智能生成的文本和学术科学家的文本,其中包含 20 个特征,最终建立了一个模型准确地判断了文本的作者,使得误分类文档的数量减少至原来的 1/20。
Mar, 2023
本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估,同时我们评估了其他 AI 生成的文本检测工具,以检测 ChatGPT 生成的内容。此外,我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明,现有方法都不能有效地检测 ChatGPT 生成的内容。
Apr, 2023
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
本研究旨在创建一个多领域数据集,以测试用于检测高校和其他研究机构使用的人工生成信息的最先进 API 和工具。六种不同的人工智能文本识别系统,包括 “GPTkit”,“GPTZero”,“Originality”,“Sapling”,“Writer” 和 “Zylalab”,准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好,但原创性在各方面表现尤为出色。
Sep, 2023
本研究旨在通过构建数据集、分析文本语言特征和设计机器学习方法,从伦理角度研究医学应用场景下人工智能生成文本的可靠性及误差。结果显示,ChatGPT 生成的医学文本普遍存在可读性高、专业术语泛化等问题,而利用 BERT 模型检测 ChatGPT 生成的医学文本效果显著。
Apr, 2023
该研究比较了 ChatGPT 和 32 门大学课程学生的表现,发现 ChatGPT 在许多课程中的表现相当,甚至优于许多学生。此外,其使用也难以被 AI 文本分类器可靠地检测出来,并且出现了学生使用该工具和教育者将其视为抄袭的共识,这些发现为 AI 融入教育框架的政策讨论提供了指导。
May, 2023
本研究基于 GPT-3 模型自动生成科学论文摘要,通过机器学习模型结合多种文本表示方法来辨别机器生成文本,并分析模型性能及讨论相关研究问题,旨在揭示人工智能生成文本的能力和局限性。
Apr, 2023
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法,并设计、实现和训练了两种不同的文本分类模型,使用了 Robustly Optimized BERT Pretraining Approach(RoBERTa)和 Text-to-Text Transfer Transformer(T5),精度超过 97%,我们还进行了可解释性研究,展示了模型提取和区分人工编写和 ChatGPT 生成文本的关键特征的能力,研究结果为有效使用语言模型检测生成文本提供了重要的见解。
May, 2023