学术研究中的 AI 生成文本的定量分析:使用 AI 检测工具研究 Arxiv 提交中的 AI 存在
本研究旨在创建一个多领域数据集,以测试用于检测高校和其他研究机构使用的人工生成信息的最先进 API 和工具。六种不同的人工智能文本识别系统,包括 “GPTkit”,“GPTZero”,“Originality”,“Sapling”,“Writer” 和 “Zylalab”,准确率介于 55.29% 至 97.0% 之间。尽管所有工具在评估中表现良好,但原创性在各方面表现尤为出色。
Sep, 2023
本研究旨在探究智能 AI 写作机器人 ChatGPT 生成的学术论文内容的原创性,并使用两种常用的抄袭检测工具评估了 ChatGPT 生成的 50 篇论文的独创性。结果表明,ChatGPT 在许多主题上具有高度的原创性,并有潜力生成具有复杂文本输出能力的内容,而传统的抄袭检测工具不易检测到这些内容。同时,本文还讨论了 AI 技术对教育的影响和机构需要采取适当措施来缓解潜在的抄袭问题。
Feb, 2023
本研究基于 GPT-3 模型自动生成科学论文摘要,通过机器学习模型结合多种文本表示方法来辨别机器生成文本,并分析模型性能及讨论相关研究问题,旨在揭示人工智能生成文本的能力和局限性。
Apr, 2023
本研究针对学术环境中使用人工智能生成文本的潜在风险进行研究,发现现有的人工智能生成文本检测工具准确性和可靠性都有问题,并且在检测时存在偏向于将 AI 生成文本归类为人类写作。同时,内容混淆技术也会显著降低检测工具的性能。
Jun, 2023
该研究比较了 ChatGPT 和 32 门大学课程学生的表现,发现 ChatGPT 在许多课程中的表现相当,甚至优于许多学生。此外,其使用也难以被 AI 文本分类器可靠地检测出来,并且出现了学生使用该工具和教育者将其视为抄袭的共识,这些发现为 AI 融入教育框架的政策讨论提供了指导。
May, 2023
本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估,同时我们评估了其他 AI 生成的文本检测工具,以检测 ChatGPT 生成的内容。此外,我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明,现有方法都不能有效地检测 ChatGPT 生成的内容。
Apr, 2023
我们的研究旨在探索传统和新的特征,以便 (1) 检测 AI 生成的文本和 (2) 由 AI 改写的文本。结果显示,新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在 F1 分数上超过了 GPTZero 的 183.8%。
Aug, 2023
本文讨论 OpenAIs ChatGPT,一种用于文本型用户请求(即聊天机器人)的生成式预训练转换器。讨论了 ChatGPT 及类似模型背后的历史和原则,以及其对学术界和学术研究出版的潜在影响。ChatGPT 被认为是自动准备论文和其他类型学术手稿的潜在模型。此外,还讨论了可能出现的潜在伦理问题,并将其置于人工智能、机器学习和自然语言处理的更广泛进展的背景之下。
Mar, 2023
我们提出了一种方法,用于估计大语言模型(LLM)在大型语料库中可能被大量修改或生成的文本比例。通过利用专家编写和 AI 生成的参考文本,我们的最大似然模型能够准确而高效地检查语料库级别上真实世界中 LLM 的使用。我们将这种方法应用于 ChatGPT: ICLR 2024、NeurIPS 2023、CoRL 2023 和 EMNLP 2023 发布之后 AI 会议中的科学同行评议案例研究。我们的研究结果表明,在提交给这些会议的同行评议文本中,有 6.5%到 16.9%的文本可能是由 LLMs 进行了大幅修改,即超出了拼写检查或轻微修改的范围。生成文本出现的情况可以揭示用户行为:在对作者回复不太可能做出回应的评审人员提交的、截止日期接近的评审中,LLM 生成的文本比例更高。我们还观察到生成文本的语料库级别趋势,这些趋势可能在个体级别上难以察觉,并讨论了这些趋势对同行评议的影响。我们呼吁未来的跨学科工作来研究 LLM 的使用如何改变我们的信息和知识实践。
Mar, 2024
本文针对 AI 基模型带来的 AI 生成内容(AIGC)涉及的工作原理、安全和隐私威胁、最新解决方案、以及未来挑战等方面做出了深入调查,主要讨论了 AIGC 的架构、工作模式和关键特征、安全和隐私威胁、道德和社会影响,最后针对 AIGC 未来的挑战和研究方向进行了总结。
May, 2023