Jan, 2024

将医师诊断逻辑纳入大型语言模型：从过程反馈中进行偏好学习

PDF
TL;DR采用偏好学习的过程反馈（PLPF）方法，将医生的诊断逻辑整合到大型语言模型中，提高医疗对话生成的准确性和连贯性。实验结果表明，PLPF 方法在医学对话中通过 17.6％的基线模型提高了诊断准确率，并且在多轮和单轮对话任务中均表现出有效性。
large language modelsmedical dialogue generationpreference learning from process feedbackdiagnostic logicmulti-round conversations
发现论文，激发创造
  • 借助基于树状偏好学习的大型语言模型推进过程验证

    基于大型语言模型的树形偏好学习验证器 (Tree-PLV) 通过构建推理树并收集步骤级成对数据进行优先级训练，以更精确地评估完整的推理路径，从而实现在算术和常识推理任务上显著优于现有基准的性能提升。

    Jun, 2024

  • 即插即用医疗对话系统

    本文提出了一种基于自然语言处理的医疗对话系统 PlugMed，该系统通过提示生成和响应排名两个模块来训练 LLMs 实现合适的对话行为，在自动和手动评估中都表现出优异的效果。

    May, 2023

  • 确保最优策略存在的偏好关系条件

    使用直接偏好流程的新框架，在部分可观察、非马尔科夫环境中分析 LfPF 问题，通过考虑偏好的序结构建立了保证最优策略存在的条件，并使用冯・诺伊曼 - 摩根斯坦恩预期效用理论证明了直接偏好流程推广了标准强化学习问题。

    Nov, 2023

  • 外部规划控制的大型语言模型对话式疾病诊断

    通过利用大型语言模型来开发一个医学任务导向的对话系统，该系统模拟人类医生与患者对话以推断诊断结果，研究使用外部规划器和大型语言模型改进了先前人工智能系统在信息收集和自然语言理解等方面的局限性。通过模拟医生的疾病筛查和鉴别诊断的两阶段决策过程，我们设计了两个不同的规划器，以有效地引导医疗对话。采用强化学习和大型语言模型进行主动学习，我们训练了这些规划器，并在 MIMIC-IV 数据集上对系统进行评估，结果表明该系统能够胜过现有模型，这是实现自动对话式疾病诊断并提高医学诊断的精确性和可访问性的重要一步。

    Apr, 2024

  • 麒麟医：多阶段知识注入的先进医疗大型语言模型

    将大型语言模型（LLMs）整合到医疗保健中存在潜力但也面临挑战。我们提出了一种多阶段训练方法，结合了专业域持续预训练（DCPT）、监督微调（SFT）和直接偏好优化（DPO），并引入一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集。通过我们的训练流程，医学 LLM（Qilin-Med）表现出显著的性能提升，突破了 Baichuan-7B 在 CMExam 上的准确率，并在 Huatuo-26M 测试集上超过了 SFT 的性能，在 BLEU-1 和 ROUGE1 上分别达到 16.66 和 27.44。这凸显了我们的训练方法在医疗应用中优化 LLMs 的优势。

    Oct, 2023

  • 中荆：通过专家反馈和实际多轮对话提升大型语言模型的中医能力

    该研究论文介绍了一个基于中医的大型语言模型，通过从事前训练到强化学习与人类反馈（RLHF）的整个训练流程，以及引入一个包含 7 万个真实医患对话的中文多轮医疗对话数据集 CMtMedQA，该模型在多个方面超越了基线模型，并且通过对该模型的进一步改进来提高其指令遵循能力和安全性。

    Aug, 2023

  • 运用大型语言模型实现专业级医疗问答

    Med-PaLM 2 combines improvements in Large Language Models, medical domain fine-tuning, and novel ensemble refinement approaches to achieve a state-of-the-art performance approaching or exceeding physician-level performance in medical question answering.

    May, 2023

  • 将临床实践指南纳入大型语言模型以提升临床决策支持

    通过将临床实践指南（CPGs）融入大型语言模型（LLMs），可以显著提高临床决策支持（CDS）的效果，我们针对 COVID-19 门诊治疗展开的案例研究表明，LLMs 与 CPGs 相结合相对于普通的 LLMs 与零提示（ZSP）提供了更准确的建议，并且还展示了更广泛应用的潜力。

    Jan, 2024

  • 利用大型语言模型模拟人类认知过程进行专业级医学问题回答

    通过模拟人类认知过程，BooksMed 使用大型语言模型（LLM）构建的框架，利用 GRADE 框架来提供基于证据的可靠答复，同时引入 ExpertMedQA 来评估 LLM 的性能，从而成为在临床决策中提供可靠和基于证据的答案的有用工具。

    Oct, 2023

  • 诊断推理提示揭示了在医学领域中大型语言模型可解释性的潜力

    GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

    Aug, 2023