Jan, 2024

从学生话语中预测挑战时刻：GPT-4 与两种传统自然语言处理方法的比较

PDF
TL;DR本研究调查了利用专家知识规则模型、监督式机器学习模型和大型语言模型（LLM）从学生讨论中检测挑战和识别挑战维度（认知、元认知、情感和技术 / 其他挑战）的潜力。结果显示，监督式机器学习和 LLM 在两个任务中表现出色，而基于规则的方法则主要依赖专家设计的特征。该论文对自动检测和支持学生在协作学习活动中遇到的挑战时刻的三种方法的表现进行了广泛讨论。论文认为，尽管 LLMs 具有许多优势，但由于其缺乏可靠性以及在有效性评估、隐私和杂乱性方面存在问题，它们不太可能成为解决学习的社交共享调控的检测和反馈问题的万灵药。我们通过讨论额外的考虑因素来结束该论文，包括模型的透明度，以探索使用 LLMs 为学生和教育工作者提供可行且有意义的分析反馈。
collaborationnatural language processingchallenge detectionsupervised machine learningllms
发现论文，激发创造
  • 基于大型语言模型的教育调查反馈分析

    本研究评估了大型语言模型（LLMs）GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力，并应用自然语言处理的方法，通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标，从而展示了 LLMs 在洞察力提取方面的巨大潜力。

    Sep, 2023

  • 评估大型语言模型在课堂对话分析中的应用

    该研究探讨了大型语言模型（LLM），特别是 GPT-4，在课堂对话分析中的应用，这是教学诊断和质量改进的关键研究任务。研究发现传统定性方法在教育研究中具有知识密集和劳动密集的特点，调查了 LLM 在简化和增强分析过程方面的潜力。通过对中学的数据集进行分析，包括数学和语文课堂的对话，该研究对人工编码的对话进行了评估，并使用定制的 GPT-4 模型进行了分析。该研究重点比较了手动注释和 GPT-4 输出，以评估其在教育对话分析中的有效性。评估了 GPT-4 的时间效率、编码者间一致性和编码者间可靠性。结果表明，使用 GPT-4 能够显著节省时间，并且模型与人工编码者之间具有高度的一致性，尽管在某些代码上存在差异。这些发现凸显了 LLM 在教学评估和促进方面的巨大潜力。

    Feb, 2024

  • 走向人机协作讨论分析的人在循环中语言模型方法

    采用人在循环提示工程方法与 GPT-4-Turbo 进行学生之间的协同话语的总结和分类的初步结果表明 GPT-4-Turbo 可能能够以与人类相媲美的方式表征学生的协同学习，并且我们的方法值得进一步研究。

    May, 2024

  • 利用大型语言模型高效分类编程课程中学生求助请求

    通过研究，我们发现 GPT-3.5 和 GPT-4 模型可以准确分类学生的求助请求，并提高教育系统的自动化分类能力。

    Oct, 2023

  • 大型语言模型（LLM）的利用中的挑战和影响因素

    当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。

    Oct, 2023

  • 探索大型语言模型对初学者程序员求助请求的响应

    本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

    Jun, 2023

  • 通过知识蒸馏和优化训练策略提高自然语言处理任务性能的大型语言模型

    该研究将大型语言模型（LLMs）如 GPT-4 与传统自然语言处理（NLP）任务相结合，利用思维链（CoT）提示技术从 GPT-4 中提取知识，并应用于改进较小模型 BERT 在命名实体识别（NER）任务中的效率和效果。通过采用两阶段训练过程，该方法在预训练阶段使用 GPT-4 标注数据，并结合蒸馏和原始人标注数据来完善模型。结果表明，我们的混合训练策略明显优于仅使用人工标注的模型，达到了更高的 F1 得分，并展示了在资源有限或封闭网络环境下的成本效益解决方案。研究还讨论了遇到的挑战，如 LLM 输出的可变性和偏向幻觉，提出了改进提示设计和注释选择的未来工作方向。我们的发现显示出 LLM 洞察力与传统 NLP 技术之间的有希望的协同作用，为更易于接近和强大的 NLP 应用铺平了道路。

    Feb, 2024

  • 从声音到可信度：利用大型语言模型（LLM）对政策利益相关者访谈进行文本分析

    该研究通过将人类专业知识与大型语言模型（如 GPT-4）相结合，探索了人与计算机相互配合进行教育政策研究中的文本分析。结果显示，GPT-4 在特定主题上与人类编码的统一性达到 77.89％，在更广泛的主题上达到 96.02％，超过传统自然语言处理方法 25％以上，并且 GPT-4 更接近专家的情感分析。这种人与计算机相互配合的方法提高了教育政策研究的效率、有效性和可解释性。

    Dec, 2023

  • 关于替代解决路径的生成情境反思触发器的研究：以计算机支持协同学习的生成人工智能为例

    大语言模型（LLMs）的一个优点是它们的情境化能力 —— 根据学生的输入（如解决方案策略或前期讨论）提供不同的回应，以更好地让学生参与其中。我们提出了一个概念验证的 LLM 应用的设计和评估，以为学生提供动态和情境化的反馈。具体来说，我们在一个大学级别的云计算课程的在线编程练习机器人中加入了 ChatGPT，它在数据库设计的协作查询优化任务中为学生提供情境化的反思触发点。我们展示了 LLMs 可以用于生成高度情境化的反思触发器，这些触发器结合了上下文中正在进行的协作讨论的详细信息。我们详细讨论了触发器设计空间的探索以及其与学习目标的对应关系，以及在一项涉及 34 名学生的试点研究中对学生学习的影响。

    Apr, 2024

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023