ChatGPT 与人类撰写文本:可控文本摘要与句子风格转移的洞见
本文研究了机器学习模型在准确区分 ChatGPT 生成文本与人类生成文本时是否能够有效训练,使用可解释的人工智能框架来对模型进行了解释,研究发现采用 ChatGPT 重新短语生成能够使模型识别 ChatGPT 生成文本与人类生成文本之间的差异更具挑战性。
Jan, 2023
本研究提出了一种基于机器学习的解决方案,可以识别 ChatGPT 生成的文本,并在分类过程中比较分析了共 11 种机器学习和深度学习算法。在 Kaggle 数据集上测试,该算法在由 GPT-3.5 生成的语料库上表现出 77% 的准确率。
May, 2023
本文介绍了关于文本摘要的各种方法,包括提取式和抽象式,并探讨了大型语言模型在此方面的应用潜力。作者以四个数据集为例,展示了 ChatGPT 生成的摘要与人类参考的差异,并发现 ChatGPT 在摘要性能上可以与传统的微调方法媲美。该研究为各种文本摘要任务开辟了新方向,提供了有价值的见解。
Feb, 2023
本论文提出了一种使用语言模型检测 ChatGPT 生成的文本与人工编写文本的新方法,并设计、实现和训练了两种不同的文本分类模型,使用了 Robustly Optimized BERT Pretraining Approach(RoBERTa)和 Text-to-Text Transfer Transformer(T5),精度超过 97%,我们还进行了可解释性研究,展示了模型提取和区分人工编写和 ChatGPT 生成文本的关键特征的能力,研究结果为有效使用语言模型检测生成文本提供了重要的见解。
May, 2023
本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估,同时我们评估了其他 AI 生成的文本检测工具,以检测 ChatGPT 生成的内容。此外,我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明,现有方法都不能有效地检测 ChatGPT 生成的内容。
Apr, 2023
本研究通过使用自动度量和盲审人员评估 ChatGPT 在编写摘要上的表现,同时构建自动文本分类器以检测 ChatGPT 生成的摘要,并发现虽然文本分类算法可以区分真实和生成的摘要,但人类无法区分真实摘要和 ChatGPT 生成的摘要。
Mar, 2023
本文比较了 ChatGPT 在自然语言处理领域中,在机器翻译、文本摘要、问答和语言生成等方面的表现,并使用自由质量(SQ)分数与每个类别中的主要算法进行了比较。通过有效的验证策略,安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。
Mar, 2023
用于区分 ChatGPT 生成文本和人类生成文本的当前方法的综述,包括构建用于检测 ChatGPT 生成文本的不同数据集,采用的各种方法,对人类与 ChatGPT 生成文本特征的定性分析,并最终总结研究结果为一般性见解。
Sep, 2023
该研究探索了 ChatGPT 和 GPT-4 等大型语言模型在遵循人类对话摘要指南方面的能力。研究使用 DialogSum 和 DECODA 进行了实验,测试了从现有文献和人类摘要指南中提取的不同提示以及一种两步提示方法。我们的研究结果表明,GPT 模型通常会产生冗长的摘要,并偏离人类摘要指南。然而,使用人类指南作为中间步骤显示出一定的潜力,在某些情况下优于直接的字数限制提示。结果显示,GPT 模型在摘要中表现出独特的文体倾向。虽然 BERTScores 并没有明显下降,说明 GPT 的输出在语义上与人类参考和专门的预训练模型具有相似性,但 ROUGE 分数揭示了 GPT 生成的摘要与人类撰写的摘要之间的语法和词汇差异。这些发现为 GPT 模型在遵循人类对话摘要指南方面的能力和局限性提供了启示。
Oct, 2023
通过 12 个预注册的实验,我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理,但是他们在一些方面与人类处理方式存在差异,并且可能通过 Transformer 架构来解释这些差异。
Mar, 2023