深入探究 AI 生成摘要的语言特点
本研究基于 GPT-3 模型自动生成科学论文摘要,通过机器学习模型结合多种文本表示方法来辨别机器生成文本,并分析模型性能及讨论相关研究问题,旨在揭示人工智能生成文本的能力和局限性。
Apr, 2023
本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现,同时构建自动文本分类器以检测 ChatGPT 生成的摘要,并发现虽然文本分类算法可以区分真实和生成的摘要,但人类无法区分真实摘要和 ChatGPT 生成的摘要。
Mar, 2023
我们的研究旨在探索传统和新的特征,以便 (1) 检测 AI 生成的文本和 (2) 由 AI 改写的文本。结果显示,新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在 F1 分数上超过了 GPTZero 的 183.8%。
Aug, 2023
本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估,同时我们评估了其他 AI 生成的文本检测工具,以检测 ChatGPT 生成的内容。此外,我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明,现有方法都不能有效地检测 ChatGPT 生成的内容。
Apr, 2023
本研究旨在通过构建数据集、分析文本语言特征和设计机器学习方法,从伦理角度研究医学应用场景下人工智能生成文本的可靠性及误差。结果显示,ChatGPT 生成的医学文本普遍存在可读性高、专业术语泛化等问题,而利用 BERT 模型检测 ChatGPT 生成的医学文本效果显著。
Apr, 2023
研究了 ChatGPT 对学术界原创性和严谨性的可能负面影响,并提出了一个大规模数据集以支持检测算法的开发。该数据集包含了 35,304 个合成摘要,同时对现有的文本合成检测算法进行了深入分析,表明 ChatGPT 合成的摘要是可以被检测出来的,但随着人类参与的增加,检测难度会增加。
Apr, 2023
通过对从 2018 年 5 月到 2024 年 1 月提交的 100 万篇 arXiv 论文进行统计分析,我们评估了 ChatGPT 在其摘要中的文本密度,通过词频变化的统计分析。我们的模型在真实摘要和 ChatGPT 修改后的摘要(模拟数据)的混合数据上进行校准和验证,经过仔细的噪声分析。我们发现,ChatGPT 对 arXiv 摘要的影响正在增加,特别是在计算机科学领域,ChatGPT 修改的摘要比例估计约为 35%,如果我们以 “修改以下句子” 作为基准。最后,我们分析了 ChatGPT 对学术写作风格渗透的积极和消极方面。
Apr, 2024
用于区分 ChatGPT 生成文本和人类生成文本的当前方法的综述,包括构建用于检测 ChatGPT 生成文本的不同数据集,采用的各种方法,对人类与 ChatGPT 生成文本特征的定性分析,并最终总结研究结果为一般性见解。
Sep, 2023
本研究提出了一种基于机器学习的解决方案,可以识别 ChatGPT 生成的文本,并在分类过程中比较分析了共 11 种机器学习和深度学习算法。在 Kaggle 数据集上测试,该算法在由 GPT-3.5 生成的语料库上表现出 77% 的准确率。
May, 2023
通过监督分类的方法,我们开发了一种方法来辨别人工智能生成的文本和学术科学家的文本,其中包含 20 个特征,最终建立了一个模型准确地判断了文本的作者,使得误分类文档的数量减少至原来的 1/20。
Mar, 2023