multiple-choice question answering | BriefGPT

关键词multiple-choice question answering

搜索结果 - 12

KorMedMCQA：针对韩国医疗专业执照考试的多项选择题答题基准
KorMedMCQA 是第一个基于韩国医疗保健专业执业许可考试的韩文多项选择题答案基准，涵盖 2012 年至 2023 年，这个数据集包括医生、护士和药剂师执照考试中的一些问题，涉及各种主题。我们在各种大型语言模型上进行了基准实验，包括专有
PDF4 months ago
无监督多项选择问题回答
无监督问答，多选题问答，合成数据生成，命名实体，知识图谱。
PDF4 months ago
文物还是绑架: LLMs 如何在没有问题的情况下回答多项选择题？
在这项研究中，我们探索了多选题答题（MCQA）作为评估大规模语言模型（LLMs）的方法，并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高，未来需要加强 MCQA 基准测试，并进一步研究 LLMs 的决策过程。
PDF4 months ago
用尴尬简单的排列愚弄您的（视觉和）语言模型
大语言和视觉语言模型广泛应用于实践中，但由于它们在遵循指令、上下文学习等方面的令人印象深刻的能力，迫切需要仔细分析它们的鲁棒性，以便利益相关者了解这些模型在任何特定应用中是否足够可靠。本文重点介绍了流行模型中的一个特定漏洞，即多项选择题回答
PDF9 months ago
电路分析可解释性是否具有可扩展性？来自琪尼兔的多项选择能力的证据
电路分析是理解语言模型内部机制的一种有潜力的技术，通过在 70B Chinchilla 模型中进行案例研究，我们发现现有的逻辑归因、注意力模式可视化和激活修补技术在 Chinchilla 上具有可扩展性，并能够识别和分类一小组输出节点（注意
PDFa year ago
MQAG：用于评估摘要信息一致性的多项选择题回答与生成
介绍了一种基于信息论度量的多项选择问答和生成框架（MQAG），其用自动生成的多项式问题的答案分布来计算摘要和原文件之间的期望 KL 散度，以评估摘要的信息一致性。实验表明，MQAG 在大多数任务上优于现有的评估方法。
PDFa year ago
思维推理技巧：增强类型感知在文本泛零样本逻辑推理中的应用
本文探讨了逻辑推理任务中遇到的两个问题：如何提高模型的零样本能力及其推理类型感知能力。作者基于此提出了一个新的基准数据集 ZsLR，并提出了一种类型感知的模型 TaCo，并在多个实验数据集上进行了广泛的实验，证明了 TaCo 比现有方法更为
PDFa year ago
ACL线索优先：增强型多项选择题解答
该论文介绍了一种基于文本生成模型的、通过生成提示信息来提高多项选择题的准确性的算法 GenMC，该算法在多项选择题上的表现优于传统文本生成模型。
PDF2 years ago
MedMCQA：医学领域问题回答的大规模多学科多选择题数据集
MedMCQA 是一个新的大型多项选择题答题数据集，收集了超过 194,000 个高质量的 AIIMS 和 NEET PG 考试的 MCQs，涵盖 2,400 多个医疗主题和 21 个医学科目，并测试模型在广泛的医学主题和话题上的 10 +
PDF2 years ago
ACL如何制定有效的群众外包协议以解决困难的自然语言理解（NLU）数据收集任务？
本文以多项选择问题回答为测试基础，运用随机实验、数据收集协议及专家评估对比效果，发现训练众包工作者并采用迭代数据收集、传递回馈、基于专家判断进行筛选更为有效，但将普通众包判断及回馈替换为专家判断及回馈则效果不佳，最终观察到具有专家评估的迭代
PDF3 years ago
使用提示模板重构策略指导 PLM 进行 ComVE 的 SemEval-2020 任务 4 中的 IIE-NLP-NUT
本文介绍了我们用于 SemEval Task4 的前两个子任务的系统，通过使用提示模板进行输入重构策略来澄清判断意图和注入对比信息以进行选择，并将子任务形式化为多选题形式来构建输入，然后，问题回答的最终预测被视为子任务的结果。实验结果表明，
PDF4 years ago
利用外部知识改进问答
本研究旨在探索使用 Wikipedia 的文本信息和添加更多的训练数据来解决在科学等学科领域中的多项选择题答题任务，实验表明，我们的方法在准确性上相较于先前的最先进技术获得了显著的提升。
PDF5 years ago