Sep, 2023

临床文本摘要：大型语言模型的应用能超越人类专家

HTML
PDF
TL;DR在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生-患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。
发现论文，激发创造
  • 通过轻量级领域自适应大型语言模型实现放射学报告摘要

    本文系统探讨了轻量级的策略来适应大型语言模型（LLM）以进行放射学报告摘要（RRS）的任务。研究表明，通过在病例文本语料库中进行预训练，以及使用参数高效的微调技术，在RRS范例上进行微调有助于最大程度地适应任务，为临床任务开发有效的自然语言处理解决方案提供了有价值的参考。

    May, 2023

  • FaMeSumm：医学摘要准确性的研究与改进

    我们研究了医学文本概述的忠实性，发现当前的概述模型常常会产生不忠实的输出，因此我们引入了FAMESUMM框架来改进忠实性，并通过对医学知识进行预训练模型微调，使用对比学习的方式提高医学术语的忠实生成，实验结果和医生的人工评估都证明了FAMESUMM在忠实性和总体质量的指标上具有优越性。

    Nov, 2023

  • 在大语言模型时代的摘要一致性评估

    自动产生的摘要与源文件的实际不一致可能导致错误信息或存在风险。现有的实际一致性（FC）指标受性能、效率和可解释性的限制。大型语言模型（LLM）的最新进展在文本评估方面表现出了显著的潜力，但其在总结中评估FC的效果尚未充分探索。本文首先通过引入TreatFact数据集来填补这一空白，该数据集包含由领域专家进行FC注释的LLM生成的临床文本摘要。此外，我们在新闻和临床领域对11个LLM进行了FC评估，并分析了模型大小、提示、预训练和微调数据的影响。研究发现，尽管专有模型在任务上占主导地位，但开源LLM仍然落后。然而，通过增加模型大小、扩展预训练数据和开发精心策划的微调数据，有潜力提升开源LLM的性能。在TreatFact上的实验表明，先前的方法和基于LLM的评估器都无法捕捉到临床摘要中的实际不一致性，给FC评估提出了新的挑战。

    Feb, 2024

  • 属性结构化改善基于LLM的临床文本摘要评估

    通过Attribute Structuring (AS)框架对临床信息的综述进行评价和解释，从而提高临床文本摘要的质量和可靠性，实现资源受限情况下对临床信息的可信评估。

    Mar, 2024

  • 基于领域适应的大型语言模型性能评估——生成医院病程简介的基准测试

    利用临床备注合成摘要（BHC synthesis）的大型语言模型（LLMs）在临床研究中表现出良好的性能，本研究提出了一个新的评估标准和数据集，用于评估临床备注合成中LLMs的性能，并通过定量和定性评估展示了高质量的摘要表现。

    Mar, 2024

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者-医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法DistillDirect，以Gemini Pro作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的LLMs以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • 探究医患对话摘要的稳健性：跨领域SOAP笔记分析

    研究考察了最先进的医患对话生成摘要模型在域外数据上的表现，将医患对话摘要模型分为两种配置，一种是通用模型，另一种是以SOAP部分生成摘要的模型。研究分析了基于微调语言模型和GPT的方法在两种配置上的局限性和优势，以及通过语言查询和词计数分析比较不同数据集中SOAP注释。结果显示，不同数据集中的参考注释之间存在很强的相关性，表明格式不匹配并非域外数据性能下降的主要原因。最后，还进行了SOAP注释的详细分析，以揭示模型引入的信息缺失和产生幻觉的性质。

    Jun, 2024

  • 协调临床旋律：为临床编码中的医院病程总结调优大型语言模型

    本研究针对临床编码中的医院病程总结问题，适应了三种预训练的大型语言模型，以应对临床文档日益增加的复杂性。通过量化低秩适应微调，研究表明这类模型在医院病程总结的性能上有显著提升，显示出其作为临床编码辅助工具的潜力。

    Sep, 2024

  • 医疗领域大型语言模型摘要任务的评估：叙述性回顾

    本研究聚焦于医疗文本摘要任务的评估现状，揭示了目前评估方法的不足之处。通过对临床摘要任务的评价，我们提出了优化人类专家评估资源限制的未来方向。研究的关键发现可能为改善医疗文本生成的可靠性提供指导。

    Sep, 2024

  • 大型语言模型在生成肺癌患者出院总结的比较研究

    本研究旨在解决临床实践中生成出院总结这一繁琐而重要的任务。通过评估多种大型语言模型在该任务中的表现，发现GPT-4o和调优后的LLaMA 3在生成清晰且符合临床相关性的总结方面表现优秀。这一研究彰显了自动摘要工具在提升医疗文档精确度和效率方面的潜力，有助于改善患者护理和运营能力。

    Nov, 2024