面向麻醉学的中文大型语言模型训练
大型语言模型(LLMs)在各种自然语言处理任务中表现出令人惊讶的性能。最近,结合领域特定知识的医学 LLMs 在医疗咨询和诊断方面展现出卓越能力。本文系统地探讨了如何基于通用 LLMs 训练医学 LLMs,并提供了指导各种医学应用的 LLMs 发展的方法。
Jun, 2024
本研究通过将预训练的通用大型语言模型精细调整为医学领域专家,并结合多种优化方法,包括注入通用医学知识、医学领域指导微调和特定医学任务适应性调整,成功提升了在医学领域的推理和应答能力。
Dec, 2023
通过综述大型语言模型在医学领域中的应用和意义,揭示了它们在知识检索、研究支持、临床工作流自动化和诊断辅助等方面的效用,并探索了多模态语言模型以及自动化代理在医疗保健中的发展潜力。然而,为了有效地将这些模型整合到临床实践中,需要不断优化和进行伦理监管。
Nov, 2023
该研究论文介绍了一个基于中医的大型语言模型,通过从事前训练到强化学习与人类反馈(RLHF)的整个训练流程,以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA,该模型在多个方面超越了基线模型,并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。
Aug, 2023
HuaTuo 是基于 LLaMA 模型,使用生成的 QA 实例进行监督微调,以提高其在生物医学领域任务中的表现,实验结果表明,HuaTuo 生成的响应具有更加可靠的医学知识。
Apr, 2023
大型语言模型在医疗领域的利用引发了劲头和担忧,本文概述了目前开发的大型语言模型在医疗保健方面的能力,并阐明它们的发展过程,旨在提供从传统预训练语言模型(PLMs)到大型语言模型(LLMs)的发展路线图的概览。总的来说,我们认为正在进行一次重大的范式转变,从 PLMs 过渡到 LLMs,这包括从辨别式人工智能方法向生成式人工智能方法的转变,以及从以模型为中心的方法论向以数据为中心的方法论的转变。
Oct, 2023
通过医生评注和认定的方法,我们研究了三种通用大型语言模型(LLMs)在理解和处理真实世界临床笔记中的性能,并发现 GPT-4 整体表现优于其他 LLMs。此外,我们开发了一个全面的定性性能评估框架,旨在验证 LLMs 在处理复杂医学数据方面的能力,并为将来在专门领域的 LLM 评估建立基准。
Jan, 2024
利用高质量手动和合成数据集,本研究在生物医学领域构建了一套专用医学模型,基于 Llama-3 系列进行了精细调优,展示了在各种医学基准测试上的令人惊叹的能力。同时,我们还开发了强大的擅长生物医学和一般奖励基准的奖励模型,进一步增强了生物医学 LLM 社区内的在线优先学习能力。
Jun, 2024
医疗领域的大型语言模型的集成将转变医学诊断、研究和患者护理,Hippocrates 是一个开源 LLM 框架,通过无限制地提供训练数据集、代码、检查点和评估协议来促进协作研究,解锁 LLM 的全部潜力,并使其在全球范围内享有人工智能研究的好处。
Apr, 2024
我们评估了在临床试验报告数据集上使用医学领域的热门开源和闭源大型语言模型的自然语言推理能力,并分析了它们在具有医学缩写和数量 - 定量推理要求的挑战性实例上的表现。Gemini,我们的领先大型语言模型,在测试集上获得了 0.748 的 F1 分数,在任务排行榜上位列第九。我们的工作是第一种在医学领域内全面检验大型语言模型的推理能力的工作。
May, 2024