May, 2023

大型语言模型是否适用于导读阅读？

PDF
TL;DR本篇研究探讨了大型语言模型在参与教育指导阅读方面的能力，着重评估它们从输入文本中生成有意义问题和多样化问题的能力，以及根据学生对问题的回答生成要求他们重新阅读一部分文本的能力。通过我们对 ChatGPT 和 Bard 的评估，我们得出结论：1）大型语言模型能够生成高质量的有意义问题，与输入文本有很高的相关性，2）它们生成覆盖输入文本大多数主题的多样化问题，尽管这种能力会随着输入文本的增加而明显降低，3）大型语言模型能够产生低和高认知问题，尽管它们明显偏向于低认知问题，4）它们能够有效地总结回答并提取应重新阅读的部分文本。
发现论文，激发创造
  • 大型语言模型是否能胜任？一项实证研究评估 LLM 评分 K-12 教育中的简答题能力

    这篇论文讨论了使用大型语言模型（LLMs）对开放文本短答案问题进行评分的实验，研究了不同组合的 GPT 版本和提示工程策略在标记真实学生答案时的性能表现，并发现 GPT-4 在这方面表现良好与人类级别接近。这一研究对于支持 K-12 教育中的低风险形成性评估任务具有重要意义。

    May, 2024

  • 大型语言模型是否能够很好地玩文本游戏？现状和开放问题

    本技术报告针对大型语言模型 (ChatGPT 和 GPT-4)，探究它们在玩文字游戏方面的能力，实验证明 ChatGPT 表现与现有系统相比具有竞争力，但仍没有足够的智能去构建游戏世界模型、利用已有世界知识和推断游戏进程中的目标。这为人工智能、机器学习和自然语言处理交叉领域开辟了新的研究问题。

    Apr, 2023

  • 大型语言模型在语言教学和评估技术中的应用

    本文研究了大型语言模型在以 AI 为驱动的语言教学和评估系统中的潜在应用，探讨了几个研究领域，并讨论了与语言学习者相关的基于生成式 AI 的风险和伦理考虑。

    Jul, 2023

  • 大型语言模型生成的教育问题有多有用？

    通过人工评估，控制型文本生成与问题分类法相结合生成的高质量、多样化问题，被认为对教师和学生的教学内容质量有较大的提升作用，具有在教学环境中广泛使用的潜力。

    Apr, 2023

  • 大型语言模型在初级编程教育中的应用：ChatGPT 的性能和对评估的影响

    该论文研究了大型语言模型（LLMs）ChatGPT-3.5 和 GPT-4 在解决入门级编程任务中的表现，并根据表现得出了利用 LLMs 进行教学场景和评估格式的暗示。研究选取了来自免费网站 CodingBat 的 72 个针对初学者的 Python 任务，使用完整任务描述作为 LLMs 的输入，通过 CodingBat 的单元测试评估生成的回复。此外，还分析了文本解释和程序代码的普遍可用性。结果显示得分高，正确响应率为 94.4％至 95.8％，同时文本解释和程序代码的可用性可靠，从而为将 LLMs 纳入编程教育和评估中打开了新的途径。

    Aug, 2023

  • 计算机科学学位项目中大型语言模型的表现

    这篇论文在应用科学大专的计算机科学学士学位课程中研究了不同大型语言模型的表现和效果，发现当前的大型语言模型在不同计算机科学领域表现出色，但由于数学计算方面的限制，即使是 GPT-4.0 也无法通过该课程。

    Jul, 2023

  • 基于大型语言模型的文档级机器翻译

    本文研究利用 Chat-GPT 建立的大型语言模型在文档级机器翻译中的应用，通过评估话语建模的能力，比较它与商业翻译系统和高级文档级机器翻译方法的性能，发现 Chat-GPT 在人类评估方面表现优异，同时揭示了话语建模的挑战和机遇。

    Apr, 2023

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • CHATGPT 与语言模型的比较分析

    本文比较了 ChatGPT 在自然语言处理领域中，在机器翻译、文本摘要、问答和语言生成等方面的表现，并使用自由质量（SQ）分数与每个类别中的主要算法进行了比较。通过有效的验证策略，安全性和可大规模采用 LLM 的示例总结了该论文的观点和结果。

    Mar, 2023

  • 探索大型语言模型生成形成性编程反馈的潜力

    探索大型语言模型在计算机教育和学习中的潜力，通过分析其对带有程序代码的输入生成的反馈进行研究，以此为目标来帮助学生解决编程任务并识别不同类型的反馈。结果表明，大型语言模型在一些入门编程任务和学生错误方面表现出了合理的性能，但教育者应提供指导，因为其提供的反馈可能对初学者包含误导性信息。

    Aug, 2023