通过集中于围绕问题上下文的改述,我们的工作提供了一种高数据获取成本情景下进行多项选择题生成的初始尝试,这是通过使用仅预训练模型构成的 pipeline AGenT Zero,该方法不需要 fine-tuning,最大限度地减少了问题生成的数据获取成本。同时,我们的评估流程还可推广到更广泛的问题和答案范围内。
Nov, 2020
设计并评估了一个自动化问题生成工具,以便用于学校的形成性和总结性评估,通过使用基于 Transformer 的语言模型和生成技术,实现了模块化框架,从文本内容中自动生成多项选择题,并进行了广泛的定量和定性评估。
Sep, 2023
本文介绍了我们使用传统语言学方法和多种机器学习技术生成英语非结构化文本问句的框架,并且加入了问题评估模块,最终证明我们的生成问题质量优于其他最好的系统,并且与人类创建的问题相当。
May, 2022
使用大型语言模型,本研究探索了数学多项选择题中自动生成干扰项和相应反馈信息的任务,并通过非标准指标对生成的干扰项和反馈信息进行了评估,结果显示自动化干扰项和反馈生成方面仍有提升空间,并提出了几个未来研究的方向。
Aug, 2023
文章探讨了如何使用基于学习理论的自动提问生成器来生成能够提升教材阅读理解的问题,通过教育专家的实验评估,结果表明生成的问题语言质量高,并且询问了与给定文本相关的中心信息,在特定学习场景中可以促进阅读理解。
Oct, 2021
本篇研究旨在利用标准化的 NLG 指标来检测 QGen 模型所带来的实际效果,并以教师自动生成阅读理解测试为例进行实际应用测试。虽然我们发现近期 QGen 取得了显著进展,但最佳模型仅得到了 10 名教师中的 68.4%同意接受的问题,同时也发现需要新的自动度量标准来指导 QGen 研究前进。
提出使用 GPT-3 等大型语言模型来进行问题生成并采用多个(伪)参考答案进行评估,以更全面地评估 QG 技术潜力的方法。实验结果表明,使用多个参考答案进行 QG 评估比使用单个参考答案更为有效,并且更能与人类评估相符合。
May, 2023
提出了使用深度学习方法和序列学习方法生成阅读理解中多项选择题的解题方法,包括问题生成和干扰项生成。通过多种自然语言处理技术的组合,这些方法可以在未见数据上表现良好。
Mar, 2023
这项研究提出了一个创新的阿拉伯语问题生成系统,通过关键词和关键短语提取、问题生成和后续排名的三个阶段来解决自动生成阿拉伯语评估问题所面临的困难。提出的方法和结果表明精确度为 83.50%,召回率为 78.68%,F1 得分为 80.95%,显示出该框架的高效性。人工评估进一步证实了模型的效率,获得了 84% 的平均评分。
Jun, 2024
无监督问答,多选题问答,合成数据生成,命名实体,知识图谱。
Feb, 2024