AAAIApr, 2020

基于知识的填空式多项选择题干扰项生成

PDF
TL;DR本文提出一种新的可配置框架，用于自动为开放领域的填空式多项选择题生成干扰选项，该框架整合了通用知识库以有效地创建较小的干扰候选集，并使用功能丰富的学习排序模型来选择既合理又可靠的干扰选项。实验结果表明，我们的框架产生的干扰选项比以前的方法更可信和可靠。此数据集也可用作将来干扰选项生成的基准。
distractive choicesopen-domain cloze-stylelearning-to-rankplausiblereliable
发现论文，激发创造
  • 标准测试中的多项选择题自动生成干扰项

    本文提出 EDGE 自动化分心器的生成方法通过门控层和注意力机制控制分心器的正确性和可信度，取得了显著优于现有模型的新的最先进水平。

    Nov, 2020

  • 生成干扰项来提高多项选择题的准确性：方法、数据集和评估的综述

    本文调查了英文多项选择题数据集中与干扰项生成任务相关的文本和多模态语境，对近期有关干扰项生成任务的研究进行了全面的文献综述，讨论了多项选择题组成部分及其特点，分析了相关数据集，并总结了干扰项生成的评估指标。调查结果显示，超过一半的数据集来自科学和英语等特定领域的教育来源，主要以文本为基础，缺乏开放域和多模态的数据集。

    Feb, 2024

  • 在教育中学习重复使用干扰选项以支持多项选择题生成

    本研究旨在探索如何利用已有的误选项，结合上下文特征，协助老师更有效地创建新的多项选择题 (MCQs)。我们评估了多种基于数据和上下文的模型，结果表明，上下文感知模型在正确地创造质量高的误选项方面，明显优于传统特征模型。最佳表现的模型中，平均 10 个选项中会有 3 个选项被评为高质量误选项。此外，我们还创建了一个性能基准，提供了 298 道涵盖多个学科和语言的教育问题的测试题目，以及一个 77K 的多语言误选项的词汇量池，以供未来的研究使用。

    Oct, 2022

  • 提高基于检索增强预训练和知识图谱集成的多项选择题干扰项生成

    本文研究多项选择题中混淆项生成的任务，通过引入检索增强的预训练和知识图谱的集成，我们的模型在基准数据集上显著优于现有结果，最佳模型在多项选择题数据集的 F1@3 得分从 14.80 提升到 16.47，在 Sciq 数据集中从 15.92 提升到 16.50。

    Jun, 2024

  • 通过大型语言模型探索数学多项选择题的自动生成方式

    研究了基于大型语言模型的自动生成干扰项的任务，发现虽然大型语言模型能生成一些数学上有效的干扰项，但它们对于预测真实学生常见的错误或误解的能力较弱。

    Apr, 2024

  • 从真实考试中生成阅读理解问题的干扰项

    本文提出一种分层编码器 - 解码器框架，其中使用静态和动态注意力机制，以生成更长、语义丰富、更贴近真实阅读理解考试的干扰项，其表现优于多个强基线模型。

    Sep, 2018

  • CDGP: 基于预训练语言模型的自动填空干扰项生成

    本文通过探索预训练语言模型（PLMs）的应用作为备选项干扰项生成的替代方案，研究了填空干扰项的自动生成。实验证明，PLM 增强模型显著提高了性能，最佳模型使得 NDCG@10 得分从 14.94 提升至 34.17。我们的代码和数据集可在此链接中找到。

    Mar, 2024

  • 利用预测提示和大型语言模型生成多项选择题干扰项

    通过从题库自动检索题目并将其用作合适的上下文示例，本研究提出了一种引导 ChatGPT 等大型语言模型生成相关干扰项的策略，通过对现有测试集进行数量评估和教师质量评注，我们发现教师评价中有 53% 的生成干扰项被评为高质量，即可立即使用，优于最先进的模型，与零样本 ChatGPT 和少样本 ChatGPT 通过静态示例进行比较，显示了我们方法在生成高质量干扰项方面的优势。

    Jul, 2023

  • 通过上下文学习探索数学多项选择题的自动干扰项和反馈生成

    使用大型语言模型，本研究探索了数学多项选择题中自动生成干扰项和相应反馈信息的任务，并通过非标准指标对生成的干扰项和反馈信息进行了评估，结果显示自动化干扰项和反馈生成方面仍有提升空间，并提出了几个未来研究的方向。

    Aug, 2023

  • 使用超生成与评级提升数学多项选择题自动生成的效果

    通过过度生成和排名方法，我们提出了一种新的方法来提高生成干扰项的质量，训练一个排名模型来预测干扰项被真实学生选择的可能性。在真实数据集上的实验结果和与数学教师的人工评估显示，我们的排名模型与人工编写的干扰项的一致性增加，尽管人工编写的干扰项仍然优于生成的干扰项。

    Apr, 2024