DoctorGLM:细调您的中文医生并非力大无比的任务
使用生成型的大型语言模型,在中医问答领域表现令人不满意,本研究引入了一个专门为中医问答设计的对话模型 MedChatZH,该模型在中医经典著作上进行预训练,并结合医学指南数据进行精细调优,在真实的医学对话数据集上胜过了几个基线模型。我们在链接上发布了我们的模型、代码和数据集,以促进传统中医和大型语言模型领域的进一步研究。
Sep, 2023
近年来,对优质医疗服务的需求日益增长,凸显了医疗基础设施中的差异。随着大数据,特别是文本,成为医疗服务的基石,迫切需要专为医疗领域量身定制的有效自然语言处理(NLP)解决方案。我们提出了 ChiMed-GPT,这是一个专为中国医疗领域设计的新型基准大语言模型,其上下文长度扩展为 4,096 个标记,并经历了全面的预训练、有监督微调和强化学习高强度训练过程。在信息提取、问题回答和对话生成等真实世界任务中的评估结果表明,ChiMed-GPT 在医疗领域的性能优于一般领域的大语言模型。此外,通过要求 ChiMed-GPT 执行涉及对患者歧视的态度评定,我们分析了可能存在的偏见,以促进医疗领域大语言模型的负责任开发。代码和模型已经在此 URL 发布。
Nov, 2023
本论文提出了将现有的语言模型细调为医疗领域的医生 - 患者对话模型,以更好地理解患者需求、为医疗领域提供有价值的帮助,并将进一步开源相关数据、代码和模型来推进医疗领域的对话模型的发展。
Mar, 2023
该研究论文介绍了一个基于中医的大型语言模型,通过从事前训练到强化学习与人类反馈(RLHF)的整个训练流程,以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA,该模型在多个方面超越了基线模型,并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。
Aug, 2023
HuatuoGPT 是一款用于医学咨询的大型语言模型,通过结合 ChatGPT 的蒸馏数据和医生的实际数据进行监督精调,并使用增强学习模型以更好地利用两种数据的优势,表现出出色的实验效果。
May, 2023
通过高质量的医学问答实例和人类反馈进行训练和微调的基于 LaMA 的 IvyGPT,具有较好的多轮对话能力,并能输出接近人类的丰富诊断和治疗答案,超过其他医学 GPT 模型。
Jul, 2023
通过创建高质量数据集 PedCorpus 和应用系统性和稳健的训练流程构建了中国首个儿科大型语言模型助手 PediatricsGPT,以改善诊断效率,解决中国医疗资源匮乏的问题。
May, 2024
本研究介绍了一种专门为临床场景设计和优化的语言模型 ——ClinicalGPT,通过整合大量临床实际数据、领域特定知识和多轮次对话信息,使其更好地处理多种临床任务,并通过医学知识问答、医学考试、患者咨询和医疗记录的诊断分析等全面评估框架证明其在这些任务中显著优于其他模型,突出了我们的方法在将大型语言模型应用于卫生保健这一关键领域的有效性。
Jun, 2023
使用连续训练和指导微调的方法,快速适应中国医学领域的 Llama 2 基础模型,实验证实了该方法的有效性,产生了与 GPT-3.5-turbo 相媲美的模型,并且使用更少的计算资源。这个领域特定模型对于各种中国医学应用是有用的,并为领域特定训练提供了一个模板,用于那些预训练模型缺乏所需专业知识的领域,如法律、科学和工程。
Nov, 2023
研究了大型语言模型在生物医学任务中的性能,并与更简单的模型进行了比较,特别地,探讨了分类和因果关系检测任务。发现精细调整后的模型依然是最佳策略,而简单的词袋模型的表现与最复杂的大型语言模型的表现相当。
Apr, 2023