Apr, 2023

从常规电子健康记录中整合成像和潜在临床特征的纵向多模态变压器用于肺结节分类

PDF
TL;DR使用基于 Transformer 的多模态策略，将电子健康记录中的临床特征和胸部 CT 扫描图像进行无监督解开耦合，并利用时间 - 距离缩放的自注意力来共同学习其表达式，从而实现 SPN 分类的高效准确。
solitary pulmonary noduleehrsmultimodal learningtransformer-basedclinical signatures
发现论文，激发创造
  • 基于时间距离视觉变换器的纵向计算机断层扫描在肺癌诊断中的应用

    通过两种时间距离视觉变换器的解释，本研究对广泛的长期医学影像进行了创新性的分类，并在 CT 肺筛查研究中取得了成功，优于横截面方法。

    Sep, 2022

  • 一种基于 Transformer 的表征学习模型，用于临床诊断的多模态输入统一处理

    我们提出了一个基于 Transformer 的诊断辅助模型，可以以统一的方式处理多模态输入，该模型在辨别肺部疾病方面表现出了比仅使用图像模型和非统一多模态诊断模型更高的识别率，并在 COVID-19 患者的不良临床预后方面表现出了更高的预测能力。

    Jun, 2023

  • Swin-Tempo: 使用 Swin Transformer 增强的 UNet 在 CT 扫描作为视频序列中具有时间感知的肺结节检测

    我们提出了一种创新模型，结合了卷积神经网络和视觉变换器的优势，将每个 3D CT 图像视为视频，每个切片视为帧，将肺结节视为对象，使其能够进行时间序列应用，以克服模型训练过程中的硬件限制，实现对 2D 数据的高效处理，并利用 3D 图像上下文进行准确识别。通过对公开可用的 Lung Nodule Analysis 2016 数据集应用 10 折交叉验证技术，验证了我们提出的网络的有效性。我们的网络在平均敏感性指标上达到了 97.84％的准确度以及 96.0％的竞赛性能指标（CPM），其参数较少。与肺结节识别领域最先进的技术进行对比分析，证明了我们提出的模型的显著准确性。

    Oct, 2023

  • RadFusion: CT 和 EHR 的多模式肺栓塞检测的性能和公正性基准测试

    通过整合医学影像和电子健康记录，可以提升肺栓塞分类性能和稳健性，并在不引入不必要误差的情况下，在受保护子群体之间全面评估公平性属性。

    Nov, 2021

  • 使用自监督学习的时空双流网络对径向探针支气管内超声视频中的肺部肿瘤进行分类

    本研究旨在设计基于 3D 神经网络、融合时空特征的 SlowFast 网络以及增强噪声鲁棒性的 SwAV 方法的计算机辅助诊断系统，以此区分良性和恶性肺部病变，协助医生进行径向探针支气管内超声检查视频的实时分析，且无需进行高质量图像选择，并在图像噪声存在的情况下实现高准确率分类诊断。

    May, 2023

  • 基于无监督对比学习的 Transformer 肺结节检测

    研究通过自监督区域建模与对比学习训练方法，提出了一种新的自监督 3D 变形器模型来识别肺结节，与普遍使用的 3D 卷积神经网络相比，该模型可以极大地提高肺结节筛查的性能。

    Apr, 2022

  • 错了肺！评估和提高医学数据无监督多模态编码器的可解释性

    在电子健康记录上进行多模态模型的预训练可以学习表示，以最小的监督进行下游任务的转移。最近的多模态模型在图像区域和句子之间引入了软局部对齐，这对医疗领域非常有意义，但标注结果发现图像区域与句子之间的关注并不一致。一些简单的技术，如允许模型退出图像的关注和少量微调，可能有望改善对齐，减少对人工干预的依赖。

    Oct, 2022

  • 利用 Transformer 改进多模态和纵向数据的乳腺癌分类和风险评估

    通过多模态变压器（MMT）神经网络，综合使用乳腺 X 光摄影和超声波，针对目前患癌患者和目前无癌患者，识别患者及估计未来胸部癌症风险的研究表明，MMT 在检测现有癌症方面取得了 AUROC 值为 0.943 的成绩，并超过了单模态基线，对于 5 年风险预测，MMT 实现了 AUROC 值为 0.826，胜过以往基于乳腺 X 光摄影的风险模型。本研究凸显了多模态和纵向成像在癌症诊断和风险分层中的价值。

    Nov, 2023

  • 通过统一和定制指令调整，学习一种多任务变压器用于胸片解读

    基于多模态深度学习模型的临床应用中的多任务程序，我们提出了一个统一的变压器模型，通过整合定制化指令调整，将不同的视觉密集型任务统一在一个训练框架中，以增加临床解释性和在不同胸部 X 光基准测试中表现出的优越性能。

    Nov, 2023

  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022