May, 2024

基于证据的医学高阶推荐的时间关键推理

PDF
TL;DR本文提出了一种高阶推理模型，以在 ICU 中的循证医学中以时间紧迫的方式为应用提供建议。我们的系统中使用了大型语言模型（LLM）。实验结果表明，在 “What-if” 场景中，LLM 与人类医生的治疗方案相似度达到了 88.52%。在 “Why-not” 场景中，最佳模型在 70％的死亡病例中倾向于选择替代治疗方案。在 “So-what” 场景中，最优模型对 ICU 患者的治疗方案的动机和意义提供了详细分析，其推理与实际诊断信息的相似度达到了 55.6%。在 “How-about” 场景中，LLM 的最佳效果在设计转诊相似疾病的治疗方案中达到了 66.5％的内容相似度。与此同时，LLM 成功地以 70％的准确率预测了 ICU 患者出院后的生命状态。
high-order reasoningevidence-based medicinelarge language modelicutreatment plans
发现论文，激发创造
  • 大型语言模型是临床推理器：具备推理意识的诊断框架和提示生成的合理化

    借助基于提示的学习，通过 “推理感知” 的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

    Dec, 2023

  • 基于有限样本的思维链驱动推理用于开放式医学问题回答的 LLMs

    使用大型语言模型（LLMs）自动化医疗任务，如临床记录、信息检索和决策支持。我们提出一种修改的 MedQA-USMLE 数据集，用于模拟真实的临床场景，并探索基于思维链（CoT）推理的主观响应生成，以获取正确的医疗问题答案。我们还利用回报训练机制和人类参与，开发了更好的对比学习策略，并通过增量推理的提示得出贪婪解码方法比其他策略更好的结论。

    Mar, 2024

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024

  • MEDIQ：用于自适应可靠医学推理的问答 LLMs

    在高风险领域如医疗推理中，目前大语言模型的 AI 助理尚缺乏可靠性和安全性。本文提出了挑战可靠性的主要障碍：现有的大语言模型被训练以回答任何问题，即使在提问时存在不完整的上下文或不足的参数知识。我们建议通过开发更加谨慎的大语言模型来改变这种模式，让它们能够通过追问问题来收集必要和充分的信息并提供可靠的回答。我们引入了 MEDIQ 框架，用于模拟逼真的临床交互过程，其中包括患者系统和自适应专家系统。患者系统可能在开始阶段提供不完整的信息；当专家系统对决策缺乏信心时，会通过追问问题来获取患者缺失的详细信息，而不会做出诊断决策。为了评估 MEDIQ，我们将 MEDQA 和 CRAFT-MD（用于诊断问题回答的医学基准测试）转化为交互式设置。我们开发了一个可靠的患者系统，并原型化了几个专家系统，首先表明直接命令最先进的大语言模型提问会降低临床推理的质量，表明将大语言模型适应于交互式信息寻求环境是困难的。然后，我们使用新的弃权模型来改进专家系统，更好地估计模型置信度，并决定是否追问更多问题，从而将诊断准确率提高了 20.3%；然而，性能仍然落后于完整信息均提供的理论上限（在实践中不切实际）。进一步分析表明，通过过滤不相关的上下文和重新格式化对话，可以提高交互性能。总体而言，我们的论文介绍了一个关于大语言模型可靠性的新问题，一个新的 MEDIQ 框架，并强调了在关键领域扩展大语言模型助理的信息寻求能力的重要未来方向。

    Jun, 2024

  • 评估大型语言模型的干预推理能力

    评估大型语言模型在干预作用下准确更新其对数据生成过程的知识的能力，以及对因果推断中不同因果图和变量类型的干预性推理的研究。研究结果表明，虽然 GPT-4 模型在预测干预效果方面表现出有希望的准确性，但它们对提示中的干扰因素仍然敏感。

    Apr, 2024

  • 将符号推理与语言建模相结合，实现对非结构化电子医疗记录的高效纵向理解

    人工智能在医疗保健领域的应用具有革命性，特别是在基于变压器的大型语言模型 (LLM) 的最新进展方面。本文研究了将符号推理与语言建模相结合，以改进对非结构化临床文本的理解的能力。我们展示了这种组合方式提高了从非结构化记录中提取多个医学变量的效果。此外，我们还展示了无广告商业免费 LLM 的检索能力与商业 LLM 相媲美。最后，我们阐述了通过符号推理对 LLM 进行引导的必要性，因为仅仅使用 LLM 会导致性能最低。

    Aug, 2023

  • 大型语言模型逻辑推理的教学学习

    通过对大型语言模型的研究，我们发现它们在逻辑推理方面存在缺陷，导致其在任务解决中产生反事实的答案。为了解决这个问题，我们提出了多种策略，赋予大型语言模型逻辑推理能力，从而使其能够在不同场景中生成更符合逻辑的答案。我们还通过构建一个综合数据集 (LMM-LR) 对该方法进行了评估和预训练。在不同任务上进行了广泛的定量和定性分析，验证了通过逻辑训练大型语言模型的有效性和必要性，并为将来的工作提供了启示。

    Oct, 2023

  • HANS，你聪明吗？神经系统的聪明汉斯效应分析

    我们通过使用四个多选题基准来调查 It-LLMs 对多个探测测试的韧性能力。引入对抗性示例，我们展示了在选择顺序变化时出现的显著性能差距，揭示了选择偏差并讨论了推理能力。通过使用连续思维（CoT）技术，我们引发模型进行推理并减轻偏见，从而获得更强大的模型。

    Sep, 2023

  • 诊断推理提示揭示了在医学领域中大型语言模型可解释性的潜力

    GPT4 可以通过使用诊断推理提示模拟临床医生的常见临床推理过程，而不会损失诊断准确性，因此它可以为医生提供评估 LLMs 是否可信赖用于患者护理的手段。新的提示方法有潜力揭示 LLMs 的黑盒子，将它们推向在医学中安全有效使用的一步。

    Aug, 2023

  • 通过知识种子引导大型语言模型的临床推理

    临床推理是指医生在评估和管理患者时采用的认知过程，而自动临床推理方法利用大型语言模型和 In-Context Padding 框架提高了这一过程的效果。

    Mar, 2024