Jun, 2024

探究医患对话摘要的稳健性:跨领域 SOAP 笔记分析

TL;DR研究考察了最先进的医患对话生成摘要模型在域外数据上的表现,将医患对话摘要模型分为两种配置,一种是通用模型,另一种是以 SOAP 部分生成摘要的模型。研究分析了基于微调语言模型和 GPT 的方法在两种配置上的局限性和优势,以及通过语言查询和词计数分析比较不同数据集中 SOAP 注释。结果显示,不同数据集中的参考注释之间存在很强的相关性,表明格式不匹配并非域外数据性能下降的主要原因。最后,还进行了 SOAP 注释的详细分析,以揭示模型引入的信息缺失和产生幻觉的性质。