EMNLPMar, 2024

CDGP: 基于预训练语言模型的自动填空干扰项生成

PDF
TL;DR本文通过探索预训练语言模型（PLMs）的应用作为备选项干扰项生成的替代方案，研究了填空干扰项的自动生成。实验证明，PLM 增强模型显著提高了性能，最佳模型使得 NDCG@10 得分从 14.94 提升至 34.17。我们的代码和数据集可在此链接中找到。
cloze testdistractor selectionlearner ability assessmentpre-trained language modelsperformance improvement
发现论文，激发创造
  • 基于知识的填空式多项选择题干扰项生成

    本文提出一种新的可配置框架，用于自动为开放领域的填空式多项选择题生成干扰选项，该框架整合了通用知识库以有效地创建较小的干扰候选集，并使用功能丰富的学习排序模型来选择既合理又可靠的干扰选项。实验结果表明，我们的框架产生的干扰选项比以前的方法更可信和可靠。此数据集也可用作将来干扰选项生成的基准。

    Apr, 2020

  • 利用预测提示和大型语言模型生成多项选择题干扰项

    通过从题库自动检索题目并将其用作合适的上下文示例，本研究提出了一种引导 ChatGPT 等大型语言模型生成相关干扰项的策略，通过对现有测试集进行数量评估和教师质量评注，我们发现教师评价中有 53% 的生成干扰项被评为高质量，即可立即使用，优于最先进的模型，与零样本 ChatGPT 和少样本 ChatGPT 通过静态示例进行比较，显示了我们方法在生成高质量干扰项方面的优势。

    Jul, 2023

  • 基于 PLM 的替代模型在 IRT 评估中控制填空测试题目的难度

    我们提出了一个使用预训练语言模型作为代理模型进行项目反应理论评估的框架，通过使用排名规则控制缺失项和干扰项的难度水平，有效地控制和评估多选填空测试的难度水平。

    Mar, 2024

  • 利用 Transformers 的生成和判别能力构建开放式填空测试

    本论文提出了第一个多目标变压器模型，用于构建完形填空测试，利用生成和辨别能力来提高性能，实验表明，我们的方法在自动和人工评估中可以达到 82％的准确性，超过了之前的方法和基线。

    Apr, 2022

  • 通过大型语言模型探索数学多项选择题的自动生成方式

    研究了基于大型语言模型的自动生成干扰项的任务，发现虽然大型语言模型能生成一些数学上有效的干扰项，但它们对于预测真实学生常见的错误或误解的能力较弱。

    Apr, 2024

  • 使用 GPT-turbo 3.5 自动生成英语词汇多选填空问题

    使用大型语言模型自动生成填空题，并评估其有效性和适用性，通过生成适当的句子和选择合适的答案，以提高学生的词汇掌握水平。

    Mar, 2024

  • 通过大型语言模型蒸馏和对抗对比解码进行无监督分心生成

    在阅读理解的背景下，我们提出了一种无监督的分心生成框架，利用大型语言模型作为经济高效的注释器来增强较小学生模型的分心生成能力。实验证明，我们提出的无监督生成方法大大超越了 GPT-3.5-turbo 的性能，而参数只有后者的 200 倍少。我们的无监督分心生成方法为实际阅读理解应用提供了一种经济高效的框架，无需费力的分心注释和昂贵的大型模型。

    Jun, 2024

  • 标准测试中的多项选择题自动生成干扰项

    本文提出 EDGE 自动化分心器的生成方法通过门控层和注意力机制控制分心器的正确性和可信度，取得了显著优于现有模型的新的最先进水平。

    Nov, 2020

  • 提高基于检索增强预训练和知识图谱集成的多项选择题干扰项生成

    本文研究多项选择题中混淆项生成的任务，通过引入检索增强的预训练和知识图谱的集成，我们的模型在基准数据集上显著优于现有结果，最佳模型在多项选择题数据集的 F1@3 得分从 14.80 提升到 16.47，在 Sciq 数据集中从 15.92 提升到 16.50。

    Jun, 2024

  • 基于 “洞穴填充” 的自注意力网络预训练

    本研究提出了一种新的预训练双向 Transformer 模型的方法，通过解决一种词重建任务来提高语言理解问题的性能，实验表明，在 GLUE 和 NER 以及组分分析基准测试上获得了大幅度的性能提高，模型的各种因素对于有效的预训练起到了积极的贡献。

    Mar, 2019