Mar, 2023

来自英语叙事写作的证据显示，中级英语学习者在深度连贯方面胜过 ChatGPT

PDF
TL;DR本研究通过 Coh-Metrix 比较了 ChatGPT 和 CIE 学生在叙事主题上的写作表现，结果表明，在初始版本中，ChatGPT 在叙述性、词汇具体性和指代连贯性方面优于人类作家，但在句法简单性和深度连贯性方面劣于人类作家。经过多次修订后，ChatGPT 在句法简单性方面得到了改善，但在深度连贯性方面仍远不如 CIE 学生的写作。另外，讨论组成分的相关性分析表明，ChatGPT 和人类作家的叙事性与指代连贯性呈正相关，但各组内的相关性不同。
chatgptwriting performancecoh-metrixdiscourse componentsnarrative topic
发现论文，激发创造
  • 评估 ChatGPT 对 ELL 作家的连贯性和凝聚力的反馈

    ChatGPT 在无具体任务训练的情况下，对于英语学习者的文章连贯性和衔接性未提供有效反馈。

    Oct, 2023

  • 聊天式 GPT 与人类读者在推理方面的互补优势：来自英文阅读理解的证据

    ChatGPT 与中国高中学生在文本阅读推理能力方面存在互补关系，ChatGPT Plus 在情感和因果推理中表现卓越，而学生在负面情绪和逻辑分析方面具有优势。

    Nov, 2023

  • 九岁儿童在情感方面表现超过 ChatGPT：基于汉字写作的证据

    ChatGPT 和 9 岁儿童在中文写作能力方面的相对强弱，通过对叙事和科学主题的对比研究发现，九岁儿童在流畅性和连贯性方面超过了 ChatGPT，而 ChatGPT 在准确性上表现较优。此外，九岁儿童在科学主题写作的复杂性方面表现出色，而 ChatGPT 在自然主题写作方面更胜一筹。最重要的是，本研究首次揭示了九岁儿童在中文写作中比 ChatGPT 表达更强烈的情感。

    Oct, 2023

  • ChatGPT 基于反馈的有效性研究：与教师反馈和自我反馈进行比较的证据 —— 以中文到英文翻译为例

    通过对聊天机器人 ChatGPT、教师反馈和自我反馈这三种不同反馈方法的比较研究，发现教师反馈和自我反馈在整体翻译质量和语言特征方面均优于 ChatGPT 反馈，但 ChatGPT 反馈在提高词汇能力和修辞连贯性方面表现出优势。因此，ChatGPT 作为辅助资源可有效补充传统教师指导下的翻译实践。

    Sep, 2023

  • 聊天 GPT 在对话中的话语分析潜力：实证研究

    本研究探讨了 ChatGPT 在话语语篇分析中的能力，特别是话题分割、话语关系识别和话语分析三个任务的能力。结合创新的思维链（COT）方法，发现 ChatGPT 对于话题分割有较好的表现，但在话语关系识别和话语分析等较难的任务中有待提高。

    May, 2023

  • ChatGPT 还是 Grammarly？评估 ChatGPT 在语法错误更正基准上的性能

    本文评估了 AI 语言模型 ChatGPT 在语法纠错任务上的表现，通过与 Grammarly 和 GECToR 等商业和先进模型比较，发现 ChatGPT 在自动评估指标上表现较弱，但经过人工评估，发现 ChatGPT 更倾向于修改某些短语或句子结构而仍保持语法正确性，这表明自动评估指标低估了 ChatGPT 工具的潜力。

    Mar, 2023

  • ChatGPT 与人类撰写文本：可控文本摘要与句子风格转移的洞见

    本文研究 ChatGPT 在不同目标受众和写作风格下的表现，发现相比人类撰写的文章，ChatGPT 生成的样本在词汇类型分布等方面存在差异，并可能出现事实错误或幻觉。

    Jun, 2023

  • 紧急 AI 辅助话语：一个以 ChatGPT 为例的第二语言写作者案例研究

    ChatGPT 对于学术写作过程的帮助以及如何保持学生独立的作者声音进行了探讨，并且强调了 AI 工具（如 ChatGPT）对于语言学习者的学术写作的潜力。

    Oct, 2023

  • ChatGPT 是否能与神经机器翻译匹敌？一项比较研究

    通过比较 ChatGPT 和主流神经机器翻译（NMT）引擎将中文外交文本翻译成英文，本文评估了大型语言模型在翻译方面的能力。研究采用四个自动化度量和基于错误类型和六个分析指标的人工评估来检验 ChatGPT 和 NMT 引擎的翻译质量。研究结果表明，在不同的提示下，自动化度量对 ChatGPT 产生了类似的结果，而当提供翻译任务的示例或上下文信息时，人工评估者更倾向于给 ChatGPT 较高的评分。自动化度量与人工评估维度之间的两两相关性结果弱且不显著，这表明了两种翻译质量评估方法之间的差异。这些发现为 ChatGPT 作为一种可靠的机器翻译工具以及提示工程对其性能的影响提供了有价值的见解。

    Jan, 2024

  • 使用 ChatGPT3 作为学生论文写作辅助工具：让您的论文变得更好

    探究使用 ChatGPT-3 作为写作辅助工具与否对学生的论文写作表现的影响，结果表明，在大多数参数下，控制组优于实验组。

    Feb, 2023