HuaTuo：基于中医知识优化 LLaMA 模型
HuatuoGPT 是一款用于医学咨询的大型语言模型，通过结合 ChatGPT 的蒸馏数据和医生的实际数据进行监督精调，并使用增强学习模型以更好地利用两种数据的优势，表现出出色的实验效果。
May, 2023
该研究论文介绍了一个基于中医的大型语言模型，通过从事前训练到强化学习与人类反馈（RLHF）的整个训练流程，以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA，该模型在多个方面超越了基线模型，并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。
Aug, 2023
为了解决大型语言模型（LLM）在医学领域中知识局限导致产生虚假医学事实的困境，本研究提出了知识调整的方法，利用结构化的医学知识库帮助 LLMs 有效掌握领域知识，从而实现可靠的回答生成。通过引入基于医学知识库构建的中文医学知识问答数据集 cMedKnowQA，实验结果表明，经过 cMedKnowQA 知识调整的 LLMs 在回答生成上表现出更高的准确性，为 LLMs 的领域适应提供了可靠的新途径。
Sep, 2023
介绍了 PMC-LLaMA, 一种在 4.8 百万篇生物医学论文上 fine-tuning 得到的语言模型，用于注入医学知识，提高在医学领域的性能，经过初步试验后在生物医学数据集上表现出更好的理解生物医学特定概念，在 QA 基准上表现出高性能。
Apr, 2023
使用生成型的大型语言模型，在中医问答领域表现令人不满意，本研究引入了一个专门为中医问答设计的对话模型 MedChatZH，该模型在中医经典著作上进行预训练，并结合医学指南数据进行精细调优，在真实的医学对话数据集上胜过了几个基线模型。我们在链接上发布了我们的模型、代码和数据集，以促进传统中医和大型语言模型领域的进一步研究。
Sep, 2023
使用连续训练和指导微调的方法，快速适应中国医学领域的 Llama 2 基础模型，实验证实了该方法的有效性，产生了与 GPT-3.5-turbo 相媲美的模型，并且使用更少的计算资源。这个领域特定模型对于各种中国医学应用是有用的，并为领域特定训练提供了一个模板，用于那些预训练模型缺乏所需专业知识的领域，如法律、科学和工程。
Nov, 2023
本文研究了如何在持续训练过程中注入领域知识以及如何设计正确的监督微调任务来帮助模型解决实际问题，在加入检索模块并提取相关文献的情况下，我们的模型可以更可靠地生成答案。
May, 2023
本研究通过比较一般性和专用于医学问答的精简语言模型的性能，旨在填补这方面的空白，并评估不同语言模型家族的性能，以探讨这些模型在医学问答领域的可靠性、比较性能和有效性，从而为不同语言模型在医学领域的特定应用提供有价值的见解。
Jan, 2024
通过将异构数据转化为统一的简单输入输出对格式，我们提出了一种简化学习协议的方法，用于解决领域适应中的挑战，并验证了这种方法在中医领域的性能优越性，开发的 HuatuoGPT-II 模型在中医领域的表现最优，不仅显示出了其有效性，还展示了其泛化能力。
Nov, 2023
本研究旨在为大型模型赋予中医理论特色的专业知识，以构建和组织一个中医领域的专业语料库，并成功基于 LLaMA 开发出首个经历从预训练到监督微调完整训练流程的中医领域大型模型 Qibo。此外，我们还开发了用于评估中医领域大型模型性能的专用工具 Qibo-benchmark，为对不同模型的理解和应用能力在传统中医领域进行量化和比较提供重要依据，并为中医智能助手未来研究方向和实际应用提供指导。最终，我们进行了充分的实验证明 Qibo 在中医领域具有良好的性能。
Mar, 2024