Oct, 2023

麒麟医:多阶段知识注入的先进医疗大型语言模型

TL;DR将大型语言模型(LLMs)整合到医疗保健中存在潜力但也面临挑战。我们提出了一种多阶段训练方法,结合了专业域持续预训练(DCPT)、监督微调(SFT)和直接偏好优化(DPO),并引入一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集。通过我们的训练流程,医学 LLM(Qilin-Med)表现出显著的性能提升,突破了 Baichuan-7B 在 CMExam 上的准确率,并在 Huatuo-26M 测试集上超过了 SFT 的性能,在 BLEU-1 和 ROUGE1 上分别达到 16.66 和 27.44。这凸显了我们的训练方法在医疗应用中优化 LLMs 的优势。