ACLOct, 2022

CHARD: 临床健康感知跨维度文本生成模型推理

PDF
TL;DR介绍了 CHARD：跨尺度临床健康知识驱动的推理模型，利用文本生成模型生成关于多种健康相关情况的多维自由文本说明。通过使用 BART 和 T5 进行数据增强，在自动、人工和定性分析方面进行广泛实验，提出了一个 52 种健康问题的说明数据集：CHARDat，显示该模型可以表现不俗，但仍存在深入研究的巨大潜力。
发现论文，激发创造
  • 大型语言模型执行诊断推理

    通过将思路链式提示（CoT）拓展到医学推理领域，我们提出了诊断推理 CoT（DR-CoT）。实证结果表明，通过仅向仅训练于一般文本语料库的大型语言模型提供两个 DR-CoT 实例来指导，诊断准确性提高了 15%。此外，在领域外情景中，该差距达到显著的 18%。我们的研究结果表明，大型语言模型中可以通过适当的提示引出专家知识推理。

    Jul, 2023

  • DR.BENCH：临床自然语言处理的诊断推理基准

    本研究介绍了一种新的基准测试套件，称为 DR.BENCH，旨在开发和评估具有临床诊断推理能力的 cNLP 模型，这是第一个被设计为自然语言生成框架以评估预训练语言模型的临床任务套件。

    Sep, 2022

  • 大型语言模型是临床推理器：具备推理意识的诊断框架和提示生成的合理化

    借助基于提示的学习，通过 “推理感知” 的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

    Dec, 2023

  • 通过自适应特征提取和重新校准进行可解释的临床健康状况表示学习

    该项研究提出了一种 deep learning-based 的健康状态表示学习模型 AdaCare，能够在多个时间尺度上捕捉生物标志物的长期和短期变化，强化指示健康状态的特征，并提供有效的可解释性和高预测准确率，实验证明 AdaCare 胜过同类方法，通过临床专家验证的可解释性也很有效。

    Nov, 2019

  • 通过知识种子引导大型语言模型的临床推理

    临床推理是指医生在评估和管理患者时采用的认知过程，而自动临床推理方法利用大型语言模型和 In-Context Padding 框架提高了这一过程的效果。

    Mar, 2024

  • 大规模结构化现实世界数据的研究：利用患者级监督的深度学习从临床文本中提取关键肿瘤信息

    本文介绍了使用自然语言处理技术和基于深度学习的方法处理医学记录中的实际数据，通过利用医学注册处重点患者信息的导向监督，并结合领域特定的预训练、递归神经网络和分层注意的方法，实现了在医疗系统中具有可伸缩性的实证研究。

    Mar, 2022

  • 基于医疗临床知识的语言模型：Almanac

    本文研究了大型语言模型在临床医学领域的应用，探讨了通过让模型能够访问外部医疗工具，以响应医生查询的方式来实现医疗指南和建议推荐的能力，并展示了在各种临床场景中显著提高事实准确性、有效性和安全性的结果。

    Mar, 2023

  • 利用放射学报告的深度表示进行生存分析，预测心衰患者死亡率

    本文提出一种使用 BERT 为基础的隐藏层的临床文本协变量来预测患者的生存状况的方法，并证明其在预测方面比预定义特征更加准确，并且在 C-index 和时间依赖的 AUC 方面优于之前的模型。

    May, 2021

  • 基于领域内语言模型的诊断推理多任务训练

    本研究的重点是使用 DR.BENCH 这一包含 6 个任务的综合生成 AI 框架对领域内和领域外语言模型进行比较分析，发现多任务、经过临床训练的语言模型在 DR.BENCH 中的问题总结任务中表现超过了其一般领域的对应物，取得了 28.55 的 ROUGE-L 得分，显示出了为优化临床诊断推理任务而进行领域特定的训练的价值。

    Jun, 2023

  • 基于遗传算法的临床 BioBERT 超参数优化

    本研究旨在从临床笔记中提取具有社会健康决定因素的句子，并利用名为 SOHO 的 SDoH 本体提供适当的概念。我们使用深度学习的最新进展来优化 Clinical BioBERT 模型的超参数，实现了基于遗传算法的超参数调整。通过将 Clinical BioBERT 与两个线性层和两个 dropout 层进行流水线处理，我们实现了完整的分类器。在实验中，我们比较了 AdamW，Adafactor 和 LAMB 优化器。结果表明，AdamW 在准确性方面表现最佳。

    Feb, 2023