multiple choice questions | BriefGPT

关键词multiple choice questions

搜索结果 - 12

数学多项选择题生成：人类 - 大型语言模型协同
本文介绍了一个原型工具，旨在促进语言模型与教育工作者的合作，以简化数学多项选择题生成过程。我们进行了一项试点研究，涉及数学教育工作者，以调查该工具如何帮助他们简化高质量的数学多项选择题的制作过程。研究发现，虽然语言模型能够生成良好形式的问题
PDF2 months ago
文本研究：经过指导调整的语言模型比你想象的多次选择筛选器更稳健
通过研究，我们发现文本答案比第一个标记概率更具鲁棒性，特别是在问题干扰和选项顺序改变的情况下，这进一步证明了对文本答案的评估优于对第一个标记概率的评估。
PDF3 months ago
超越概率：揭示大型语言模型评估中的不一致性
使用大型语言模型（LLMs）进行多项选择题（MCQs）的实证研究表明，概率评估方法在生成预测方面存在内在局限性，与当前评估框架通常基于输出概率而非直接生成回应的计算限制相关，结果强调了 LLMs 评估方法的有效性和未来研究的启示。
PDF4 months ago
基于 GPT 的无语言限制多阶段提示方法的新型多项选择题生成
我们引入了一种多阶段提示方法（MSP）用于生成多项选择题（MCQs），借助于文本戴文西 - 003 和 GPT-4 等 GPT 模型的能力，这些模型在各种自然语言处理任务中表现出色。我们的方法融合了连贯思维提示的创新概念，这是一种渐进式技术
PDF6 months ago
DISTO：基于负采样的多项选择题文本干扰项评估方法
提出一种针对生成干扰项的评价模型 ——DISTO，相比于用于干扰项评价的机器翻译指标，验证 DISTO 标准更加符合人体感知，同时，DISTO 的排名表明 MT 指标不应用于干扰项评价。
PDFa year ago
EMNLP评估问题的知识依赖性
该研究提出了一种新的自动评估指标，称为知识相关可回答性（KDA），该指标可以衡量多项选择题的可回答程度，提高了现有的评估模型，使其不仅基于生成题目与样本的相似度，而且考虑了评估题目对应知识点能力的能力，从而可以更好地评估评估题目。
PDF2 years ago
在教育中学习重复使用干扰选项以支持多项选择题生成
本研究旨在探索如何利用已有的误选项，结合上下文特征，协助老师更有效地创建新的多项选择题 (MCQs)。我们评估了多种基于数据和上下文的模型，结果表明，上下文感知模型在正确地创造质量高的误选项方面，明显优于传统特征模型。最佳表现的模型中，平均
PDF2 years ago
EduQG: 面向教育领域的多种格式多选数据集
本研究介绍了一个高质量的包含 3397 个样本的数据集，其中包含多项选择题、答案（包括干扰项）以及其来源文档，可用于问题与干扰项的生成以及探索新的挑战，同时伴随着 Bloom 的认知复杂性水平。所有问题均由专业人员生成以确保其符合教育及学习
PDF2 years ago
CVPR利用多项选择题桥接视频文本检索
该研究提出了一种新的预训练方法，利用多项选择问题建立视频和文本之间的语义联系以实现更高效的检索，其结果在不同实验设置下如零成本和微调等多种数据集上均优于现有方法。
PDF2 years ago
选项追踪：知识追踪中超越正确性分析
本文提出了一种超越二元分类的知识追踪方法 —— 选项追踪法，可以准确预测学生在选择多项选择题时选择的选项，不仅可以诊断学生整体能力，还可以诊断学生的具体错误。在两个大型学生响应数据集上进行了有效性测试并获得了较好的结果。
PDF3 years ago
ACLSTARC: 面向阅读理解的结构化注释
STARC 是用于评估阅读理解的结构化注释框架，该框架引入了一种答案选择的有理结构并将其与文本跨度注释绑定。使用 OneStopQA 数据集作为基础，可以使用 STARC 进行自动注释质量探测和机器阅读理解行为与人类进行深入分析和比较。RA
PDF4 years ago
IJCAIElimiNet：一种用于阅读理解多项选择题中选项消除的模型
本文提出 ElmiNet 这一基于神经网络的模型来进行阅读理解与多项选择题，融入了排除和选择的过程，使用 RACE 数据集进行实验并与现有模型进行比较。结果表明其在该数据集中有效性高于目前最先进的模型，并可以与基于选项选择的模型进行组合以获
PDF5 years ago