该论文介绍了 FrenchMedMCQA，即用于医学领域的多项选择问答（MCQA）的首个公开数据集，其中包含从法国药学专业毕业考试中提取的 3105 个问题，使用单选和多选题混合，提供基线模型以自动处理此 MCQA 任务。

Apr, 2023

MedMCQA 是一个新的大型多项选择题答题数据集，收集了超过 194,000 个高质量的 AIIMS 和 NEET PG 考试的 MCQs，涵盖 2,400 多个医疗主题和 21 个医学科目，并测试模型在广泛的医学主题和话题上的 10 + 种推理能力。

Mar, 2022

该研究介绍了韩语问答数据集（KorQuAD），这是一个用于机器阅读理解的大型韩语数据集，有助于自动回答语音机器人和自动化客户支持系统的开发。

Sep, 2019

通过构建 K-QA 数据集，使用自然语言处理模型评估，在临床环境中确保大型语言模型提供的回答的准确性至关重要。

Jan, 2024

本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法，提高了医学多项选择题回答准确率；本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法，并且正确遮盖答案线索对于良好表现非常关键。我们发布了新的预训练数据集，并在 4 个 MCQA 数据集上实现了最新最好的结果，在 MedQA-USMLE 上基础型号效果提高了 5.7%。

Mar, 2023

研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集 “Multilingual Knowledge Questions and Answers”（MKQA），包括 10k 个问题 - 答案对，跨越 26 种语言（总计 260k 个问题 - 答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

Jul, 2020

这项研究介绍了 EHRNoteQA，这是一个为评估临床环境中大型语言模型（LLMs）而定制的创新患者特定问题回答基准。它是首个采用多项选择问题回答格式的数据集，通过分析多个临床记录来回答单个问题，与其他格式相比，在自动评估中有效地评估 LLMs 的可靠性得分。在各种大型语言模型上进行的综合评估表明，它们在 EHRNoteQA 上的得分与通过临床医生评估的真实医学问题的表现更密切相关，凸显了 EHRNoteQA 在评估医学应用的 LLMs 中的重要性，以及它在促进 LLMs 融入医疗系统中的关键作用。该数据集将在 PhysioNet 凭据访问下向公众提供，促进这个重要领域的进一步研究。

Feb, 2024

本研究提供了首个针对医疗问题的自由形式多项选择 OpenQA 数据集 MedQA，涵盖三种语言，并通过实现规则和神经网络两种方法进行实验，最终发现即使是当前最好的方法在英语、繁体中文和简体中文问题上也只能实现 36.7％、42.0％和 70.1％的测试准确率，希望这个数据集能够为推动未来更强大的 NLP OpenQA 模型的发展提供平台。

Sep, 2020

通过重新利用其他 NLP 任务的现有注释，我们提出了一种新的方法来生成特定领域的大规模问答（QA）数据集。我们利用社区共享的 i2b2 数据集中临床笔记的现有专家注释，生成了大规模的电子医疗记录 QA 数据集 emrQA，其中包含 100 万个问题 - 逻辑形式对和 40 多万个问题 - 答案证据对，并通过基线模型训练来探索其学习潜力。

Sep, 2018

我们介绍了 MedConceptsQA，这是一个专门用于医学概念问答的开放源码基准。该基准包含了不同词汇的各种医学概念问题：诊断、手术和药品。我们对该基准进行了使用各种大型语言模型的评估。我们发现，尽管经过医学数据的预训练，预先训练的临床大型语言模型在该基准上的准确性接近于随机猜测。然而，与临床大型语言模型相比，GPT-4 在零样本学习和少样本学习上的绝对平均改进分别达到了近 27% 和 37%。我们的基准为评估大型语言模型对医学概念的理解和推理提供了宝贵资源。我们的基准在此 https:// 网址中可供使用。

May, 2024