通过12个预注册的实验,我们发现像ChatGPT这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理,但是他们在一些方面与人类处理方式存在差异,并且可能通过Transformer架构来解释这些差异。
Mar, 2023
本文研究 ChatGPT 在不同目标受众和写作风格下的表现,发现相比人类撰写的文章,ChatGPT 生成的样本在词汇类型分布等方面存在差异,并可能出现事实错误或幻觉。
Jun, 2023
ChatGPT是OpenAI创建的一种大型语言模型(LLM),通过大量数据的精心训练,推动了自然语言处理(NLP)的发展,并拓展了LLM的能力边界。本文主要目标是对ChatGPT及其演变的当前研究方向进行简明概述,提供了基于玻璃盒和黑盒观点的综合分析。此概述也揭示了LLM和GAI领域的现有和缺失研究方向,有益于公众用户和开发人员。
Jul, 2023
我们的研究旨在探索传统和新的特征,以便(1)检测AI生成的文本和(2)由AI改写的文本。结果显示,新特征显著提高了许多分类器的性能。我们最好的基本文本改写检测系统在F1分数上超过了GPTZero的183.8%。
Aug, 2023
用于区分ChatGPT生成文本和人类生成文本的当前方法的综述,包括构建用于检测ChatGPT生成文本的不同数据集,采用的各种方法,对人类与ChatGPT生成文本特征的定性分析,并最终总结研究结果为一般性见解。
Sep, 2023
ChatGPT的词表知识和AI工具的潜在应用进行了评估,发现ChatGPT在词典和《堂吉诃德》中只能识别80%的词汇,其中一些还有错误的意义。
ChatGPT生成语言模型的研究中,自动生成的文本需要自动识别以保持信息的透明度和可信度。本研究中,我们试图检测ChatGPT生成的摘要,通过提取文本的语义和词汇特性,并观察到传统机器学习模型能够自信地检测这些摘要。
Dec, 2023
研究探讨人类和LLM生成的对话之间的语言差异,并使用ChatGPT-3.5生成的19.5K对话作为EmpathicDialogues数据集的补充。研究使用了语言查询和词频统计(LIWC)分析,在118个语言类别上比较ChatGPT生成的对话和人类对话。结果显示人类对话在可变性和真实性方面更出色,但ChatGPT在社交过程、分析风格、认知、注意力焦点和积极情绪方面表现优异,加强了LLM“更接近人类”的最新发现。然而,在正面或负面情感方面,ChatGPT和人类对话之间没有显著差异。对话嵌入的分类器分析表明,尽管对话中未明确提及情感,但存在着情感价值的隐式编码。该研究还提供了一个新颖的ChatGPT生成的对话数据集,其中包含两个独立的聊天机器人之间的对话,这些对话旨在复制一个开放可访问的人类对话语料库,广泛应用于语言建模的AI研究。我们的研究结果增加了对ChatGPT的语言能力的理解,并为区分人类和LLM生成的文本的持续努力提供了信息,这对于检测由AI生成的虚假信息、错误信息和误导信息至关重要。
Jan, 2024
评估使用语言模型生成的文本的词汇丰富性及其与模型参数的相关性。
Feb, 2024
这项研究旨在调查ChatGPT和人类写作之间的语言特征差异,发现AI生成的文本在多个语言特征上与人类写作有显著差异,强调了整合自动化工具进行有效语言评估以减少数据分析的时间和工作量的重要性,并强调了增强培训方法以提高AI生成更接近人类文本的能力的必要性。
Jul, 2024