Dec, 2023

多模态皮肤癌分类的联合个体融合结构与融合注意力模块

PDF
TL;DR本文设计了一种新的融合方法，从特征选择和特征融合的角度，将皮肤癌分类的皮肤镜图像或临床图像与患者元数据相结合，与其他融合方法相比，在三个公共数据集上改善了分类结果，并表现出更好的性能。
convolutional neural networkskin cancer classificationdermatological imagespatient metadatafusion method
发现论文，激发创造
  • 基于小波引导的注意力模块与基于梯度的特征融合的皮肤癌分类

    通过使用新颖的注意机制来聚焦于不同对称性、质地和颜色等特征的差异以及提取皮损边界信息的梯度融合小波和软注意辅助特征，我们的模型在多类别且高度不平衡的数据集 HAM10000 上测试并取得了有希望的结果，F1 得分为 91.17%，准确率为 90.75%。

    Jun, 2024

  • 基于先验启发损失的单一共享网络的参数高效多模态皮肤病变分类

    我们提出了一种多模态方法，通过单一网络高效地整合多尺度临床和皮肤镜特征，从而大幅减少模型参数。该方法包括三种新颖的融合方案，通过共享编码器参数并保留各自的模态专属分类器、使用共享的交叉注意力模块多层次地互动两种模态、以及通过引入偏置损失将皮肤镜信息优先于临床信息，隐式地学习更好的联合特征表示。在一个公认的关键点核查表（SPC）数据集和一个采集的数据集上进行的大量实验证明了我们方法在 CNN 和 Transformer 结构上的有效性。此外，与目前先进的方法相比，我们的方法在准确性和模型参数方面都表现出优势。

    Mar, 2024

  • 基于 Transformer 的可解释多模态数据融合在皮肤病变分类中的应用

    本研究利用 transformer-based 架构实现了单阶段多模态数据融合，并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构，同时，所选架构还提供了本地可解释性支持。

    Apr, 2023

  • 三维医学图像融合与可变形交叉注意力

    创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

    Oct, 2023

  • 基于多任务相关学习的多模态融合框架在癌症预测中的应用

    基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，MultiCoFusion 的表现优于传统的特征提取方法。

    Jan, 2022

  • 基于全切片图像的肿瘤生存预测：基于注意力引导的深度多示例学习网络

    此研究提出了一种名为 DeepAttnMISL 的多实例深度学习方法，通过引入两种方式（siamese MI-FCN 和 attention-based MIL pooling）从 WSI 中高效地学习图像特征，然后将 WSI 级别的信息聚合到患者级别。该方法适用于大型数据集，并具有更好的可解释性，可用于癌症患者风险评估和个性化医疗。

    Sep, 2020

  • 自我监督的多模态注意力融合下的三维患者建模

    通过提出一种通用模块化的三维患者建模方法，即多模式关键点检测模块与自监督三维网格回归模块的结合，在实际临床场景中实现了改善关键点定位的稳健性和概括性，并取得了优越的患者定位性能。

    Mar, 2024

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • 多标签皮肤病变分类的自监督多模态学习

    通过最大化不同视角下的镜检和临床图像之间的相似性，聚类分析生成模拟的伪多标签以及利用标签关系来改善多模态皮肤病变分类的自监督学习算法比其他现有自监督学习算法在七点皮肤病变数据集上获得了更好的性能。

    Oct, 2023

  • 基于多模态卷积神经网络的医学图像分割：图像融合方案研究

    本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

    Oct, 2017