May, 2024

面向眼科疾病筛查的知识可感知多模态学习

PDF
TL;DR我们提出了一种新颖的多模态证据融合管道，针对眼科疾病筛查，在不同模态的信息融合中提供置信度测量，并通过多分布融合角度优雅地集成多模态信息。实验证明，我们的模型在健壮性方面表现出色，特别是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展示了强大的泛化能力，对于分布之外的数据，突显其作为多模态眼病筛查的有希望的解决方案的潜力。
发现论文，激发创造
  • 深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

    基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

    Sep, 2023

  • 使用不确定性的信息数据选择在多模式物体检测中

    本研究提出了一种基于深度学习的通用不确定性感知多模态融合模型，该模型采用多管道宽松耦合架构将点云和图像特征进行组合，并将不确定性嵌入在边界框生成中，以生成可靠的输出，在 KITTI 2D 物体检测数据集和其衍生的 “脏数据” 中得到了验证。

    Apr, 2023

  • 基于证据融合的半监督医学图像分割的不确定性感知学习

    通过在混合和原始样本的跨区域整合证据预测结果，重分配每个体素的置信度和不确定度度量，结合信息熵设计了体素级渐进学习策略以更加准确地估计体素的预测结果。实验结果表明，我们提出的方法在 LA、胰腺 CT、ACDC 和 TBAD 数据集上相对于现有技术取得了卓越的性能。

    Apr, 2024

  • 多模态学习的校准

    该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.

    Jun, 2023

  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 信息先验提高多模态临床数据分类的可靠性

    利用机器学习辅助临床决策支持有潜力显著改善患者护理，本研究设计了一种定制的多模态数据驱动的概率分布，并提出了一种简单可扩展的高斯平均场变分推理来训练具有该先验的贝叶斯神经网络，根据实验结果表明，该方法相比确定性和贝叶斯神经网络的基准模型产生了更可靠的预测模型。

    Nov, 2023

  • 生成人工智能在眼科学中的应用：使用卷积神经网络进行多模态视网膜图像诊断阿尔茨海默病

    用多模态视网膜成像和卷积神经网络预测淀粉样蛋白阳性发射计算机断层扫描（AmyloidPET）状态，并通过合成数据预训练以提高性能。

    Jun, 2024

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 基于概率先验信息集成的多模态对象检测

    通过将上下文二进制信息转化为概率图，并提出一种早期融合结构，在 DOTA 数据集上进行了广泛实验证实，本文研究了仅有一种模态包含目标物体且其他模态提供关键上下文信息的多模式目标检测中的对齐问题。

    May, 2024

  • 眼球注视导向的多模态对齐框架用于放射学

    使用眼动数据来辅助图像和文本特征的对齐，以减少对手动注释的依赖和降低培训成本。同时，探讨了不同量的眼动数据对模型性能的影响，突显将此辅助数据整合到多模态预训练中的可行性和实用性。

    Mar, 2024