评估四个最先进的面向指令的大型语言模型（ChatGPT、Flan-T5 UL2、Tk-Instruct和Alpaca）在13项真实世界的临床和生物医学自然语言处理（NLP）任务，如命名实体识别（NER）、问答（QA）、关系抽取（RE）等方面的表现。总体结果表明，评估的语言模型在大多数任务的零样本和少样本场景中已经接近最先进模型的性能，尤其在QA任务中表现出色，即使它们之前从未见过这些任务的示例。然而，我们观察到分类和RE任务的性能低于专门训练用于医学领域的模型（如PubMedBERT）所能达到的水平。最后，我们注意到没有一个语言模型在所有研究任务中都胜过其他模型，某些模型在特定任务中更适合。

Jul, 2023

大型语言模型在临床应用中的关键性挑战是对其进行有效的对齐，以实现准确生成具备事实内容和非平凡推理能力的响应。本研究提出了一种名为“扩展-猜测-精化”的医学问题回答的对齐策略，该策略通过采用指令调整和少样本以及连续思考等方法显著提高了大型语言模型的性能。初步分析表明，该方法在从USMLE数据集中选取的问题子集上达到了70.63%的优异表现。

Sep, 2023

通过评估各种流行的大型语言模型对医学问题的知识，我们能够更好地了解它们作为一个群体的特性。从这次比较中，我们提供了初步的观察结果并提出了进一步研究的问题。

Oct, 2023

通过LoRA-based instruction-tuning来提高日本医学问答任务的性能，在多项选择题的评估中发现其可以部分地将领域特定知识整合到大型语言模型中，较大模型效果更显著，并突出了将英语为中心的模型适应于日本应用的潜力，同时也强调了日本为中心的模型的局限性，这一举措标志着在不依赖外部服务的情况下，医疗机构可以对模型进行精细调整和操作的先驱性努力。

Oct, 2023

本研究通过将预训练的通用大型语言模型精细调整为医学领域专家，并结合多种优化方法，包括注入通用医学知识、医学领域指导微调和特定医学任务适应性调整，成功提升了在医学领域的推理和应答能力。

Dec, 2023

本研究通过比较一般性和专用于医学问答的精简语言模型的性能，旨在填补这方面的空白，并评估不同语言模型家族的性能，以探讨这些模型在医学问答领域的可靠性、比较性能和有效性，从而为不同语言模型在医学领域的特定应用提供有价值的见解。

Jan, 2024

通过在医学领域中使用大型视觉和语言模型，在三个不同的生物医学和放射学多模态视觉和文本数据集上进行三个阶段的参数高效训练后，提出了一种医学视觉语言模型。这个模型在SLAKE 1.0医学问答(MedVQA)数据集上实现了最新的性能，整体准确率为87.5%，并在另一个MedVQA数据集VQA-RAD上展现了强大的性能，整体准确率为73.2%。

Apr, 2024

评估医疗领域中多样化的大型语言模型在七个任务和十三个数据集上的综合性能

Apr, 2024

研究了大型语言模型在临床和生物医学领域中与相关知识的召回和整合性方面的性能，发现指导调优等因素能够提高召回和理解能力，并展示了在医学知识数据集上进行直接微调的鼓舞人心的结果，为语言模型中的临床知识表示学习的进一步发展提供资源和标准方法论。

Jun, 2024

本研究针对现有医学基础模型在医疗任务中的有效性问题进行了分析，提出这些模型在零样本和少样本情况下并未显著优于通用基础模型。研究表明，尽管经过特定任务的微调后医学LLM性能有所提升，但这些改进无法应用于临床笔记任务，强调了通用模型可能已经展现出强大的医学知识和推理能力。

Nov, 2024