May, 2024

超越 Flesch-Kincaid：基于提示的度量改善教育文本的难度分类

PDF
TL;DR使用大型语言模型（LLMs）对教育应用，如基于对话的教学，进行研究是一个热门话题。本研究引入并评估了基于提示的文本难度度量，该度量方法相比静态度量具有更好的性能，并展示了利用 LLMs 评估文本对不同教育水平的适应的潜力。
large language modelsdialogue-based teachingcontent adaptationtext difficulty metricseducation levels
发现论文，激发创造
  • Flesch 或 Fumble？评估教学调整的语言模型的可读性标准对齐

    对各种语言模型在书写故事补充和简化叙述等生成任务中根据标准的提示控制文本可读性进行性能调查的研究结果表明，ChatGPT 等全球认可的模型可能相对不够有效，需要更精细的提示，而像 BLOOMZ 和 FlanT5 这样的开放源码模型则显示出有希望的结果。

    Sep, 2023

  • LLM 是否隐含确定适合用户的文本难度？

    通过使用大型语言模型（LLMs），调整生成的文本难度以适应学生，以达到提高学生理解能力的个性化教育目的。用于分析 LLMs 如何在用户输入和生成的文本之间隐式调整文本难度。通过从 Stack-Overflow 创建新的数据集来进行实验，探讨基于问答式对话的性能。实验结果表明，LLMs 可以隐式处理用户输入和生成响应之间的文本难度，并观察到有些 LLMs 在处理文本难度和指导调整方面超越了人类。

    Feb, 2024

  • 基于提示的方法可能会低估大型语言模型的语言泛化能力

    本文比较了元语言激励和直接概率测量作为衡量英语知识的方法，并发现大语言模型的元语言判断低于直接从表示中派生出的数量。

    May, 2023

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • LLM 型指标的提示策略探究

    通过分析提示策略、评分聚合和解释性等多个方面，本研究探索了基于开源大型语言模型（LLMs）的度量方法在自然语言生成品质评估中的潜力，并提供了有关开源 LLMs 评估能力的实验结果和有效的提示策略。

    Nov, 2023

  • MetricPrompt: 以 Prompting 模型作为 Few-shot 文本分类的相关性评估度量

    本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题，将其转化为文本对相关性评估任务，使用 prompting 模型作为相关性度量，取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。

    Jun, 2023

  • E-Bench: 大型语言模型易用性评估

    通过系统分析大型语言模型（LLMs）抵抗提示扰动的稳定性，本研究构建 E-Bench 模拟真实人类使用情况，并讨论了同义扰动和排版扰动的组合以及性能下降的主要原因，实验证明即便随着模型规模的增加，易用性显著提升，但仍需努力建立足够用户友好的模型。

    Jun, 2024

  • 利用 LLM 中的提示克服复杂教育文本数据中的不平衡

    本文研究了如何利用具有断言的大型语言模型（LLMs）来缓解教育数据集中的不平衡问题，结果显示，与传统的机器学习（ML）模型相比，具有断言的 LLMs 在认知参与水平上明显优于传统模型，并且针对特定子集的敏感性研究表明，将断言加入到 LLM 中可提高其性能约 11.94%。

    Apr, 2024

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 适应文本分类任务中性能与效率的权衡

    本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。

    Oct, 2022