信息先验提高多模态临床数据分类的可靠性

Nov, 2023

信息先验提高多模态临床数据分类的可靠性

Informative Priors Improve the Reliability of Multimodal Clinical Data Classification

L. Julian Lechuga Lopez, Tim G. J. Rudner, Farah E. Shamout

TL;DR利用机器学习辅助临床决策支持有潜力显著改善患者护理，本研究设计了一种定制的多模态数据驱动的概率分布，并提出了一种简单可扩展的高斯平均场变分推理来训练具有该先验的贝叶斯神经网络，根据实验结果表明，该方法相比确定性和贝叶斯神经网络的基准模型产生了更可靠的预测模型。

Abstract

machine learning-aided clinical decision support has the potential to significantly improve patient care. However, existing efforts in this domain for principled quantification of uncertainty have largely been limited to applications of ad-hoc solutions that do not consistently improve

machine learning-aided clinical decision support uncertainty quantification stochastic neural networks multimodal data-driven prior reliable predictive model

发现论文，激发创造

复杂脑部疾病预测的不完整多模态学习

本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

May, 2023

常见随机神经网络在可靠临床决策支持方面的不足

采用 AI 进行医疗决策仍面临伦理和安全方面的问题。研究表明常用的深度学习方法对数据漂移过于自信，却未能在临床应用中可靠地识别异常样本，暴露了其可靠性不足的问题。存在着更加严格或内生于已知数据点的方法的需求，例如使用基于核的技术。

Jan, 2024

利用深度贝叶斯变分推断的不确定性感知视听活动识别

本研究提出了一种考虑个体单模态预测不确定性的多模态贝叶斯融合框架，采用行为识别作为应用案例，并结合确定性和变分层混合以扩展贝叶斯深度神经网络的深层架构，在 Moments-in-Time 数据集的实验中表现出优于基准方法和 Monte Carlo dropout 方法的可靠置信度，并在 UCF101 和 MiT 数据集上证明了该框架从中提取的预测不确定性能够识别元数据。

Nov, 2018

利用不确定性感知因果模型提高基于图像的精准医疗

本研究使用基于贝叶斯的深度学习技术，通过对多发性硬化症患者的 MRI 图像进行数据训练，估计病人的不同治疗方案的后验分布，计算每种治疗方案和任意两种治疗方案之间的个体治疗效应（ITE）并对其不确定性进行评估，从而实现 “精准医学”，并对临床医生的决策提供指导。

May, 2023

利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

Dec, 2022

使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

May, 2024

深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

Sep, 2023

深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

Mar, 2022

一个动态深度神经网络用于多模态临床数据分析

本文介绍了 AdaptiveNet 重复神经网络的体系结构，以处理电子病历的多个事件列表，并应用于风湿性关节炎的疾病进展预测，优于传统基线方法。

Aug, 2020

面向眼科疾病筛查的知识可感知多模态学习

我们提出了一种新颖的多模态证据融合管道，针对眼科疾病筛查，在不同模态的信息融合中提供置信度测量，并通过多分布融合角度优雅地集成多模态信息。实验证明，我们的模型在健壮性方面表现出色，特别是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展示了强大的泛化能力，对于分布之外的数据，突显其作为多模态眼病筛查的有希望的解决方案的潜力。

May, 2024