Feb, 2024

LLM 是否隐含确定适合用户的文本难度？

PDF
TL;DR通过使用大型语言模型（LLMs），调整生成的文本难度以适应学生，以达到提高学生理解能力的个性化教育目的。用于分析 LLMs 如何在用户输入和生成的文本之间隐式调整文本难度。通过从 Stack-Overflow 创建新的数据集来进行实验，探讨基于问答式对话的性能。实验结果表明，LLMs 可以隐式处理用户输入和生成响应之间的文本难度，并观察到有些 LLMs 在处理文本难度和指导调整方面超越了人类。
发现论文，激发创造
  • 了解您的受众：LLM 是否适应不同的年龄和教育水平？

    对四种最先进的大型语言模型（商业和开源）回答科学问题并针对不同年龄组和教育水平的读者群体进行可读性评估，发现它们的可读性存在较大差异。研究结果表明，目前的大型语言模型在适应不同受众时的可读性有待提高，强调了在教育场景中增强大型语言模型的适应性以迎合不同年龄和教育水平的重要性，当前大型语言模型的可读性范围受限，无法很好地适应不同受众，即使在提示的前提下，这限制了它们在教育用途上的潜力。

    Dec, 2023

  • 使用 LLMs 自动评估学生代码理解

    利用 Large Language Models (LLMs) 和 encoder-based Semantic Textual Similarity (STS) 模型对编程领域学生解答的自动评估进行了比较，发现 LLMs 在少样本和思维链模式下与 fine-tuned encoder-based 模型的性能相当。

    Dec, 2023

  • 文本难度研究：机器在文本难度方面与人类表现是否相同？

    该研究探讨了文本难度对自然语言处理领域的影响，并提出了人类学习匹配指数 (HLM Index)。实验结果表明 LSTM 的学习行为比 BERT 更类似于人类学习行为，使用 UID-SuperLinear 可以更好地评估文本难度。在九项任务中，有些任务的表现与文本难度有关，而有些任务则没有关系。在训练模型时，使用简单数据进行训练可以获得最佳效果，并且采用了从易到难的训练方法可以实现更快的收敛。

    Aug, 2022

  • 基于 LLM 的短文本答案自动评分方法探究

    通过评估大型语言模型在自动评分方面的可行性，并强调大型语言模型如何支持教育工作者验证评分程序，研究表明，虽然 “开箱即用” 的大型语言模型提供了宝贵的工具来提供补充视角，但它们对于独立自动评分的准备工作仍然是一个尚未完成的工作，需要人工监督。

    Sep, 2023

  • LLM 自卫：通过自我检验，LLM 知道自己被欺骗

    通过使用语言模型验证内容，我们提出了一种简单的方法来防御对抗性攻击，从而使大型语言模型过滤其自己的回应，即使模型未经人类价值重新调整，也可以避免为用户呈现有害内容。

    Aug, 2023

  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 为高效、个性化信息检索调整语言模型的方法与影响

    大型语言模型（LLMs）在信息检索方面的优化、模型幻觉、用户隐私等关键问题的研究。

    Nov, 2023

  • 探索大型语言模型对初学者程序员求助请求的响应

    本文探讨了在编程教育中使用大型语言模型（LLMs）的机会和威胁，研究表明 LLMs 有助于识别学生代码中的问题，但不可靠，需要在未来的研究中进一步挖掘。

    Jun, 2023

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 大型语言模型能否替代人类评估？

    本文介绍了使用大型语言模型（LLM）代替人类评估来评估人工智能生成的文本的潜力，探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果，并发现 LLM 评估结果与人类专家的评估结果保持一致。

    May, 2023