无监督多选题回答:从基础知识开始学习
本研究对最近在多项选择题回答(MCQA)数据集中取得高分的模型进行扰动实验,发现其表现不符合语言理解的人类期望,提出了一种新的训练方法,使模型更好地学习输入数据并使模型性能更好。
Nov, 2020
在这项研究中,我们探索了多选题答题(MCQA)作为评估大规模语言模型(LLMs)的方法,并发现 LLMs 在只给出选项的提示情况下选择正确答案的准确性较高,未来需要加强 MCQA 基准测试,并进一步研究 LLMs 的决策过程。
Feb, 2024
本论文提出了 MQA-QG 框架,利用同质和异质数据源生成类人问答对数据,从而实现集成式自监督多跳 QA 模型训练,实验结果表明仅利用生成的数据即可训练出在 HybridQA 和 HotpotQA 数据集上分别达到监督学习性能 61% 和 83% 的多跳 QA 系统,同时利用生成数据进行预训练可以大大减少人工标注训练数据的需求。
Oct, 2020
本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法,其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。
Oct, 2019
本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法,提高了医学多项选择题回答准确率;本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法,并且正确遮盖答案线索对于良好表现非常关键。我们发布了新的预训练数据集,并在 4 个 MCQA 数据集上实现了最新最好的结果,在 MedQA-USMLE 上基础型号效果提高了 5.7%。
Mar, 2023
本文使用多任务学习方法和多视角注意力机制,同时处理答案选择和知识库问答问题,并通过在不同视角学习多视角注意力来提高两个任务的性能。
Dec, 2018
该研究论文以多选机器阅读理解为主题,使用预训练语言模型作为编码器,并通过微调来分享和传递知识。通过训练二元分类,将多选问题转换为单选问题,并选择置信度最高的选项作为最终答案。通过从其他 MRC 任务转移知识,提出的方法摆脱了多选框架,并可以利用其他任务的资源。在 RACE 和 DREAM 数据集上评估基于 ALBERT-xxlarge 模型构建的模型,实验结果表明该模型在多选方法上表现更好,并且通过从其他类型 MRC 任务转移知识,该模型在单个和集合设置中都取得了最先进的结果。
Apr, 2024
本文探究了迁移学习在问题回答方面的应用,使用两种问题回答模型,在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能,尤其是其中一种模型在所有目标数据集上取得了最佳效果,对于 TOEFL 听力理解测试,它的性能比以前的最佳模型提高了 7%。最后,我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下,迁移学习也是有帮助的。
Nov, 2017