multiple choice question answering | BriefGPT

关键词multiple choice question answering

搜索结果 - 6

改变答案顺序可降低 MMLU 准确度
通过对多个子任务的测试准确率进行评估，研究了大型语言模型在多项选择问答数据集上的可靠性，提出了调整排行榜测试标准的可能性。
PDF9 days ago
重新思考基于生成的大型语言模型对语义理解的评估
通过对 24 种模型的 11 个评估标准进行综合评估，本文首先回顾了当前的评估方法 —— 多项选择题回答（MCQA），并突出了 MCQA 的一些潜在缺点，接着引入了 RWQ-Elo 评分系统，通过 24 种大型语言模型的竞争性对战，模拟现实
PDF4 months ago
COLING生物医学实体链接作为多项选择问题回答
Biomedical entity linking is improved using BioELQA, a model that treats it as multiple choice question answering, captu
PDF4 months ago
超越答案：评估大型语言模型的多项选择题答题合理性审查
大语言模型在自然语言处理领域中具有重要意义，然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力，需要更加健全的评估机制来衡量其性能。
PDF5 months ago
ACLBUCA：一种二进制分类方法用于无监督常识问答
本文提出将多项选择题回答任务转换为二元分类任务的新方法，通过构建知识图谱三元组的合理和不合理文本，将其用于模型培训并进行候选答案排序。与现有知识图谱方法相比，所提出的方法对数据要求较少，在多项选择题回答数据集上表现良好。
PDFa year ago
ICLR利用大型语言模型进行多选题答案推断
通过引入自然提示方法，即使用问题和答案选项来训练模型，使模型明确比较各个选项并减少计算成本，同时结合对多个选择符号的绑定能力，这篇论文探讨了 GPT-3 等大型语言模型在多项选择问题上能力的提升。
PDF2 years ago