Jun, 2024

利用学生反馈将 LLM 与助记学习相结合，形成类似于 “胶水疗法” 的智能助记

PDF
TL;DR关键词提示法是将新术语与简单关键词相连的易记解释。本研究构建了 SMART，一个根据真实学生学习新术语的反馈训练的关键词提示生成器。通过训练 SMART，采用了 LLaMA-2 对由用户编写的关键词提示进行微调，然后使用 LLM 对 SMART 进行增强，通过在闪卡应用中使用 SMART 生成的关键词提示来了解学生偏好。通过收集来自 45 名学生的 2684 条偏好数据，从评级中推测的明确偏好和从学生学习中推测的观察到的偏好，得出了三个关键发现。首先，明确偏好和观察到的偏好存在差异；学生认为有帮助的并不能完全捕捉到真正有帮助的内容。其次，贝叶斯模型可以综合多个偏好类型的互补数据，形成单一的有效性信号。SMART 通过直接优选偏好优化此信号，我们展示了这种方法能够解决典型的成对比较中的并列和缺失标签问题，从而增加 LLM 输出质量的数据量。第三，关键词提示专家评估 SMART 与 GPT-4 相匹配，并且在低部署成本下，显示了利用多样化学生反馈来调整教育中的 LLMs 的实用性。
发现论文，激发创造
  • 评估和优化大型语言模型的教育内容

    利用语言模型作为教育专家评估不同学生群体学习成果的方法，以优化教育材料。这种方法可以复制已有的教育研究结果，如专业逆转效应和变异效应，展示了语言模型作为可靠教育内容评估者的潜力。基于此，我们介绍了一种通过一个语言模型生成教育材料，另一个语言模型作为奖励函数进行指令优化的方法，并在数学问题工作表领域应用了这一方法，以最大化学生的学习收益。人类教师对这些由语言模型生成的工作表进行评估，发现语言模型的判断与人类教师的偏好具有显著的一致性。最后，我们讨论了人类和语言模型之间的潜在分歧和自动化教学设计带来的陷阱。

    Mar, 2024

  • 基于自然语言的增强式偏好学习

    使用大型语言模型（LLM）进行比较文本分类任务，不需微调，性能优于现有方法，特别是在较长的文本中。零样本学习的性能不如少样本学习。

    Oct, 2023

  • 利用大型语言模型进行多选题答案推断

    通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。

    Oct, 2022

  • 利用大型语言模型扩展 AutoTutor 的创作能力

    使用大型语言模型（LLMs）构建智能辅导系统，结合传统教学方法并实现更好的教学成果。

    Feb, 2024

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 利用 LLMs 实现内容为中心的认知代理的知识获取自动化

    该论文介绍了一种利用大型语言模型技术支持智能代理语义词典中新条目的自动学习的系统。这种学习方法通过现有的非玩具词典和自然语言生成器引导启动，将意义的表达按基本本体建立转换为自然语言句子。此学习方法已应用于学习多词表达式，其含义与智能代理语义词典中的及物动词等效。实验展示了一种融合基于知识的方法、资源、传统数据分析和大型语言模型的混合学习架构的优势。

    Dec, 2023

  • CITING：大型语言模型为指导调整课程创作

    利用人工智能模型替代人类作为教师，通过研究生成学生成绩的修订，构建了 Curriculum Instruction TunING (CITING) 方法，提高了大型语言模型的表达、深度和全面性能，在 GPT-4 评估上取得了 79.4% 的胜率。

    Oct, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 大型语言模型用于上下文学生建模：从一次性观察中合成学生在视觉编程中的行为

    利用大型语言模型在开放式学习环境中进行学生建模，引入了一种新的框架，LLM-SS，该框架利用 LLMs 来合成学生的行为，并使用领域专业知识对 LLMs 进行微调，以提高对领域背景和学生行为的理解，实验证明在学生尝试合成基准中与基线方法相比有显著改进，并且使用经过微调的 Llama2-70B 模型的方法与使用最先进的 GPT-4 模型相当。

    Oct, 2023

  • 反馈对齐的混合 LLMs 用于机器语言分子翻译

    使用先进的优化算法和非线性融合，通过少量数据实现科学大语言模型的性能提升和新的最佳水平，并引入细粒度的评估方法来评估大语言模型中的虚构能力和促进负责任的使用。

    May, 2024