本文提出了一个用于自动生成解释的方法来改善基于管道的问答系统，在特定领域（如生物医学领域）中应用 QA 系统的难点在于其 “黑匣子” 性质，该方法是通过考虑三类（成功、无回答和错误回答）用于注释所涉及 QA 组件的输出，并选择一个模板解释来衡量其有效性。

Oct, 2020

使用医疗记录自然可用的数据，XAIQA 通过分类模型解释器生成大规模的合成问答对，提升了 GPT-4 作为抽取式问答模型的性能。

Dec, 2023

本研究介绍了 MedExQA，这是一个用于评估大型语言模型对医学知识的理解能力的新型基准，通过构建涵盖五个不同医学专业的数据集，并且为每个问题 - 答案对提供多个解释，填补了当前医学问答基准的一个重要空白，即缺乏模型生成细致医学解释的全面评估。我们的工作强调了医学语言模型可解释性的重要性，提出了一个评估模型超越分类准确性的有效方法，并在特定领域 —— 言语病理学中，揭示了当前 GPT4 等语言模型理解能力不足的问题。我们的结果表明，使用多个解释进行生成评估更符合人类评估结果，提供了一个更稳健的自动理解评估机制的机会。为了丰富开源的医学语言模型（目前主要基于 Llama2），我们还提出了一种新的医学模型 MedPhi-2，基于 Phi-2 (2.7B)。该模型在生成解释方面的性能优于基于 Llama2-70B 的医学语言模型，展示了它在资源受限的医学领域的有效性。我们将分享我们的基准数据集和训练好的模型。

Jun, 2024

为了协助医学专家在日常活动中开发所需技术成为目前人工智能研究领域的热门话题。因此，最近提出了许多大型语言模型（LLMs）和自动基准，旨在利用自然语言作为人工智能与人类交互的工具，促进循证医学中的信息提取。本文提出了一个新的数据集，通过与以往研究不同的方式：（i）不仅包括正确答案的解释性论证，还包括解释错误答案不正确的论证；（ii）解释是由医生撰写的，以回答西班牙住院医师考试的问题。我们还利用这个新的基准来设置一项新的提取任务，即识别医生撰写的正确答案的解释。我们的设置的另一个好处是，我们可以利用提取问答范式来自动评估 LLMs 的性能，而不需要昂贵的人工评估。对西班牙语的语言模型进行了全面的实验，结果显示有时多语言模型的性能优于单语模型，甚至超过了已经针对医学领域进行调整的模型。此外，单语模型的结果不一致，表现竞争力的模型实际上更小、更低级。无论怎样，所获得的结果表明我们的新数据集和方法可以有效帮助医学专业人员识别与医学问题相关的循证解释。

Dec, 2023

通过在医学学科上对小型语言模型进行微调和使用 GPT-4 生成类似下游任务的问题进行微调，我们提出了一种方法来提高医学领域中小型语言模型的熟练度。此外，我们还引入了包含相关问题序列的 “渐进问题” 的 ECN-QA，以展示我们的训练策略的好处。

May, 2024

本文介绍了一种基于自动生成问答对的框架，包含一个无监督关键词检测器发现问题的有效性，一个生成器利用多通道解码器提高结构知识的多样性，用于医学领域的问答任务，能有效提升考试问答系统的准确率。

Nov, 2018

本文提出了一种新的基于问题蕴含识别（Recognizing Question Entailment）的问答（Question Answering）方法，基于机器学习和深度学习算法，结合信息检索模型，在医疗领域实现了显著的问答准确率提升。

Jan, 2019

利用 PubMed 作为可靠的医学研究文档集合，针对开放领域的问答设置，研究通过修改检索设置来提高问答系统性能的方法。结果显示，减少检索到的文档数量，偏爱近期和被引用次数较多的文献可以提高最终的宏观 F1 得分达到 10%。

Apr, 2024

通过知识引导和语义自监督方法，引入了一个医疗问题理解和回答系统，该系统可以对较长、详细和非正式措辞的患者提出的问题（称为 “消费者健康问题”）进行处理。

Sep, 2022

本文提出了一种名为 MurKe 的基于多步推理和知识提取的健康问答辅助系统，以应对复杂的健康医学问题。实验结果表明，该系统在 HeadQA 数据集上能够优于几个强基线。

Aug, 2020