Jun, 2023

基于领域内语言模型的诊断推理多任务训练

HTML
PDF
TL;DR 本研究的重点是使用 DR.BENCH 这一包含6个任务的综合生成AI框架对领域内和领域外语言模型进行比较分析，发现多任务、经过临床训练的语言模型在DR.BENCH中的问题总结任务中表现超过了其一般领域的对应物，取得了28.55的ROUGE-L得分，显示出了为优化临床诊断推理任务而进行领域特定的训练的价值。
发现论文，激发创造
  • 探索预训练语言模型中的疾病知识

    本文介绍一种新的基准测试——DisKnE，用于评估疾病知识。该测试使用正例进行注释，并以对抗性的方式构建负例。在对临床/生物医学领域的预训练模型进行测试时，发现它们的表现大幅下降。

    Jun, 2021

  • 人工智能发展的基准数据集未能满足医疗专业人员的需求

    通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对450个NLP数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

    Jan, 2022

  • DR.BENCH：临床自然语言处理的诊断推理基准

    本研究介绍了一种新的基准测试套件，称为DR.BENCH，旨在开发和评估具有临床诊断推理能力的cNLP模型，这是第一个被设计为自然语言生成框架以评估预训练语言模型的临床任务套件。

    Sep, 2022

  • 大型语言模型执行诊断推理

    通过将思路链式提示（CoT）拓展到医学推理领域，我们提出了诊断推理 CoT（DR-CoT）。实证结果表明，通过仅向仅训练于一般文本语料库的大型语言模型提供两个 DR-CoT 实例来指导，诊断准确性提高了 15%。此外，在领域外情景中，该差距达到显著的 18%。我们的研究结果表明，大型语言模型中可以通过适当的提示引出专家知识推理。

    Jul, 2023

  • 大型语言模型是临床推理器:具备推理意识的诊断框架和提示生成的合理化

    借助基于提示的学习，通过“推理感知”的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

    Dec, 2023

  • 通过知识种子引导大型语言模型的临床推理

    临床推理是指医生在评估和管理患者时采用的认知过程，而自动临床推理方法利用大型语言模型和In-Context Padding框架提高了这一过程的效果。

    Mar, 2024

  • XAI4LLM。让机器学习模型和LLM合作，提升医疗领域的上下文学习

    通过结合医学领域知识，采用多层结构的提示方法实现零/少样本上下文学习，并探索用户与大型语言模型的两种交流方式对诊断准确性和风险因素的影响。结果表明，大型语言模型通过域知识和定制化沟通策略能够显著提高诊断流程的准确性。研究还强调了在大型语言模型应用中优化训练样本数量和交流方式以提高准确性并减少偏见的重要性。

    May, 2024

  • 自然语言中的诊断推理：计算模型及其应用

    该研究解决了自然语言处理中缺乏自动化支持的诊断推理问题。论文提出了一种基于Pearl结构因果模型的新的诊断推理建模框架，并应用于生物医学领域的科学论文评估。研究发现该框架可以有效支持基于文本的结构化决策过程，为未来的协作诊断推理提供了基础。

    Sep, 2024

  • MedQA-CS：使用AI-SCE框架对大型语言模型临床技能的基准测试

    本研究解决了现有基准无法全面评估大型语言模型在医疗健康领域的临床技能的问题。我们提出的MedQA-CS框架借鉴了医学教育中的客观结构化临床考试，提供了一种包括公开数据和专家注释的全面评估方式，评估结果表明MedQA-CS在临床技能评估上比传统的选择题基准更具挑战性。这项工作的潜在影响在于推动对临床能力评估更加全面的标准建立。

    Oct, 2024

  • SemiHVision：用半人类标注数据集和微调指令生成增强医学多模态模型

    本研究解决了医学多模态大语言模型在真实应用中知识不足的问题。我们提出的SemiHVision数据集结合人类标注和自动增强技术，提高了医学知识表示和诊断推理能力。研究表明，PMC-Cambrian-AN在新提出的JAMA临床挑战基准上表现优异，展示了其在诊断推理方面的优势。

    Oct, 2024