Nov, 2023

ChiMed-GPT：具备全面训练机制且更符合人类偏好的中文医学大型语言模型

PDF
TL;DR近年来，对优质医疗服务的需求日益增长，凸显了医疗基础设施中的差异。随着大数据，特别是文本，成为医疗服务的基石，迫切需要专为医疗领域量身定制的有效自然语言处理（NLP）解决方案。我们提出了 ChiMed-GPT，这是一个专为中国医疗领域设计的新型基准大语言模型，其上下文长度扩展为 4,096 个标记，并经历了全面的预训练、有监督微调和强化学习高强度训练过程。在信息提取、问题回答和对话生成等真实世界任务中的评估结果表明，ChiMed-GPT 在医疗领域的性能优于一般领域的大语言模型。此外，通过要求 ChiMed-GPT 执行涉及对患者歧视的态度评定，我们分析了可能存在的偏见，以促进医疗领域大语言模型的负责任开发。代码和模型已经在此 URL 发布。
medical servicesnatural language processinglarge language modelschimed-gptmedical domain
发现论文，激发创造
  • 儿科 GPT：用于儿科应用的大型语言模型作为中国医学助手

    通过创建高质量数据集 PedCorpus 和应用系统性和稳健的训练流程构建了中国首个儿科大型语言模型助手 PediatricsGPT，以改善诊断效率，解决中国医疗资源匮乏的问题。

    May, 2024

  • DoctorGLM：细调您的中文医生并非力大无比的任务

    该研究旨在解决大型语言模型在医学领域的准确性问题，通过采集汉语医学对话数据库并使用一些技术训练了易于部署的的 ChatGLM-6B 模型，最终可以以较低的成本实现健康医疗目的的 LLM。

    Apr, 2023

  • 临床 GPT：基于多样医疗数据微调的大型语言模型和全面评估

    本研究介绍了一种专门为临床场景设计和优化的语言模型 ——ClinicalGPT，通过整合大量临床实际数据、领域特定知识和多轮次对话信息，使其更好地处理多种临床任务，并通过医学知识问答、医学考试、患者咨询和医疗记录的诊断分析等全面评估框架证明其在这些任务中显著优于其他模型，突出了我们的方法在将大型语言模型应用于卫生保健这一关键领域的有效性。

    Jun, 2023

  • 中荆：通过专家反馈和实际多轮对话提升大型语言模型的中医能力

    该研究论文介绍了一个基于中医的大型语言模型，通过从事前训练到强化学习与人类反馈（RLHF）的整个训练流程，以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA，该模型在多个方面超越了基线模型，并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。

    Aug, 2023

  • CMed-GPT：面向实体感知的中文医疗对话生成的提示调节

    该研究提出了基于中文医学文本的 CMed-GPT 预训练语言模型，通过 fine-tuning 和 p-tuning 降低了 PPL 值，确认了该模型在生成中文生物医学文本方面的优异性能，并强调了 p-tuning 相对于传统的 fine-tuning 方法的优势，并验证了在医学对话生成中引入外部信息的重要性，提升了对话生成质量。

    Nov, 2023

  • TCM-GPT：中医领域自适应大型语言模型的高效预训练

    我们提出了一种新颖的领域特定的中医数据自适应方法，通过使用领域特定语料库对模型进行高效预训练和微调，实现与中医相关任务的高效对齐。我们在两个中医任务上进行了广泛的实验，TCM-GPT-7B 在准确性方面表现最好，分别在准确性上相对增加了 17% 和 12%，在 TCM 领域中验证了拥有 70 亿参数的大型语言模型的领域自适应效果。

    Nov, 2023

  • 使用知识增强的生成预训练模型通过中国医学执照考试

    本文提出一种嵌入医疗领域知识和启用 Few-shot Learning 的方法，以迎合需要广泛的领域专业知识和语义知识（如医疗保健）的领域的需求。利用一种简单但有效的检索方法，本文高效提取医学背景知识以引导 ChatGPT 的推理和寻答的逻辑。我们的知识增强模型在 CNMLE-2022 上取得了高分 70，且不仅能够通过 CNMLE 考试但是还超越了人类的平均分数（61），这证明了知识增强 ChatGPT 作为多功能医疗助手的潜力，能够以更易于使用和适应的方式分析现实世界的医学问题。

    May, 2023

  • IvyGPT: 医学领域中的互动式中文路径语言模型

    通过高质量的医学问答实例和人类反馈进行训练和微调的基于 LaMA 的 IvyGPT，具有较好的多轮对话能力，并能输出接近人类的丰富诊断和治疗答案，超过其他医学 GPT 模型。

    Jul, 2023

  • HuatuoGPT，驯化语言模型成为医生

    HuatuoGPT 是一款用于医学咨询的大型语言模型，通过结合 ChatGPT 的蒸馏数据和医生的实际数据进行监督精调，并使用增强学习模型以更好地利用两种数据的优势，表现出出色的实验效果。

    May, 2023

  • 麒麟医：多阶段知识注入的先进医疗大型语言模型

    将大型语言模型（LLMs）整合到医疗保健中存在潜力但也面临挑战。我们提出了一种多阶段训练方法，结合了专业域持续预训练（DCPT）、监督微调（SFT）和直接偏好优化（DPO），并引入一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集。通过我们的训练流程，医学 LLM（Qilin-Med）表现出显著的性能提升，突破了 Baichuan-7B 在 CMExam 上的准确率，并在 Huatuo-26M 测试集上超过了 SFT 的性能，在 BLEU-1 和 ROUGE1 上分别达到 16.66 和 27.44。这凸显了我们的训练方法在医疗应用中优化 LLMs 的优势。

    Oct, 2023