人类启发式 在 AI 语言生成中的局限性
本文针对科学文献中 AI 生成的文本与人类编写的文本之间的差距进行了探讨,提出了一个通过语法、语义和语用来区分 AI 文本的框架,进而将提取到的特征用于分析两种不同类型的内容,发现 AI-generate 的科学文本在深度和总体质量方面还有待提高,并存在事实性问题等方面的差距,同时我们发现 AI-generate 的科学文本和人类编写的科学文本之间存在 “写作风格” 方面的差距,从而提出一些模型和分布无关的特征来用于其他领域的检测任务,这些研究结果有助于指导 AI 模型的优化,以产生高质量的文本,同时也有助于解决相关的伦理和安全问题。
Jan, 2023
本研究提出了一种方法来准确区分 AI 生成和人工撰写的书评,通过使用迁移学习,该方法能够在不同主题上识别生成的文本,并提高对写作风格和词汇变化的检测能力。实验结果表明,能够检测文本的原始来源,达到了 96.86% 的准确率。为了确保人工生成内容的完整性和真实性,扩大对大型语言模型在文本识别方面的能力和限制的理解对于有效地应用类似的模型以及确保内容的整体和真实性将是有价值的。
May, 2024
通过对人类写作文本和基于大型语言模型的生成文本进行比较研究,该论文展示了在不同文体中对于人类文本和生成文本进行分类的机器学习模型的效果,同时指出在故事写作方面识别生成文本的困难性,为未来在人工智能文本识别方面提供了启示和研究数据集。
Jul, 2023
本文研究了语言生成模型的民主化对人们与机器人互动方式以及识别机器人生成的文本方法的影响,并发现结合人类对话反馈信息的机器人生成文本识别方法更加稳健,同时对人机会话的语言统计学变化进行了分析。
Jun, 2021
本研究探讨基于计算方法和大数据的人工智能应用中所使用的大型语言模型的语言表现,着重考察语言表现是否由语言知识所导引。结果发现即便是常规语法结构之外的、不太常见的语言结构也可能导致大型语言模型表现出不足的语言能力,暗示这种类型的语言模型实际上并不像人类一样具有对语言的深入理解。
Feb, 2023
通过引入贝叶斯框架,研究了与生成人工智能合作时可能出现的一种情况:用户可能会获得生产力的提高,但人工智能生成的内容可能无法完全符合他们的偏好。我们揭示了个体决策与人工智能训练之间的相互作用可能导致社会性挑战,输出结果可能变得更加同质化,特别是当人工智能基于人工智能生成的内容进行训练时。解决同质化和偏见问题的方法是改进人工智能与人类的交互,实现个性化输出而不损失生产力。
Sep, 2023
人类有倾向在周围的物体中看到类似于 “人” 的特质。这种行为被称为拟人化,并且这种拟人化趋势也出现在机器学习中,其中声称在大型语言模型中感知到类似于人类智能的特质。本立场论文通过考虑专业激励、人类偏见和一般的方法论设置,讨论了当前对人工通用智能(AGI)的追求与将人类特质过度归因于大型语言模型之间的关系。通过几项实验,我们证明在潜在空间中发现可解释的人类模式并不足为奇。另外,考虑到媒体中对人工智能的普遍描绘,我们呼吁学术界在解释和交流人工智能研究结果时要格外小心,并且要对学术诚信原则有更高的意识。
Feb, 2024
生成式 AI 为语言学习提供了重要机会。AI 工具如 ChatGPT 可以通过书面或语音聊天提供非正式的第二语言练习,学习者可以通过提示指定对话参数,如熟练水平、语言风格和讨论主题。AI 可以被指导给出修正性反馈、创建练习题或制定扩展学习计划。AI 可以帮助教师构建各种媒体的学习和评估材料。然而,学习者和教师都需要理解 AI 系统的局限性,这些局限性源于它们对人类语言的纯统计模型,从而限制了它们处理语言使用中微妙的社会和文化方面的能力。此外,AI 系统的创建涉及道德问题,并且在使用中存在实际限制,尤其是对于弱势群体。AI 工具的能力和多功能性很可能使它们成为许多人生活中宝贵而常用的伴侣(类似于智能手机),创造出一种超越简单工具使用的紧密联系。生态理论如社会物质主义对于研究用户和 AI 之间产生的共同行动机制非常有帮助,以及来自原住文化的人 - 物关系视角。
Mar, 2024
定量分析比较人类写作的英文新闻与基于 4 个 LLMa 家族的大型语言模型 (LLM) 输出的差异,结果显示了人类文本与 AI 生成文本在多个可测量的语言维度上的差异,包括形态、句法、心理测量和社会语言方面,并揭示了 LLM 生成文本中存在更多的数字、符号和助动词,以及更多的代词,人类文本中存在的性别偏见也被 LLMs 表达出来。
Aug, 2023
该论文旨在提出一种 “基础” 的视角,启发人工智能的进步,包括 “基于感知 - 动作循环的体现、嵌入、延伸和实践认知” 的研究方向,以及运用逐步发展的技能促进逐步的语言发展、逐渐适应物理和社会环境的智能代理等几个具体的组成部分,以建立人类一样的语言能力。
Jan, 2022