基于 Transformer 的可解释多模态数据融合在皮肤病变分类中的应用

Apr, 2023

基于 Transformer 的可解释多模态数据融合在皮肤病变分类中的应用

Transformer-based interpretable multi-modal data fusion for skin lesion classification

Theodor Cheslerean-Boghiu, Melia-Evelina Fleischmann, Theresa Willem, Tobias Lasser

TL;DR本研究利用 transformer-based 架构实现了单阶段多模态数据融合，并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构，同时，所选架构还提供了本地可解释性支持。

Abstract

A lot of deep learning (DL) research these days is mainly focused on improving on quantitative metrics regardless of other factors. In human centered applications, like skin lesion classification in dermatology,

deep learning skin lesion classification multi-modal data fusion transformer-based architectures interpretability support

发现论文，激发创造

通过多模态数据和辅助任务集成优化皮肤病变分类

通过整合智能手机拍摄的图像与临床和人口统计信息，将多模态方法引入皮肤病变分类的诊断过程中，通过辅助任务的超分辨率图像预测组成，提高特征提取和类别区分的能力，并展示了在资源匮乏的医疗环境中应用此方法的有效性。

Feb, 2024

基于视觉转换的皮肤病生成与分类

本文提出了一个新的多类预测框架，基于 ViT 和 ViTGAN，在使用可解释 AI 的情况下，对皮肤病变分类。该框架分四个阶段，引入了生成对抗网络来解决类不平衡问题，使用卷积神经网络实现分类，实验结果相较于现有框架有所改善。

Feb, 2023

多标签皮肤病变分类的自监督多模态学习

通过最大化不同视角下的镜检和临床图像之间的相似性，聚类分析生成模拟的伪多标签以及利用标签关系来改善多模态皮肤病变分类的自监督学习算法比其他现有自监督学习算法在七点皮肤病变数据集上获得了更好的性能。

Oct, 2023

基于深度学习的多模态医学图像分类信息融合技术综述

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

Dec, 2022

Transformer-CNN 融合架构用于增强皮肤病变分割

通过融合 transformers 和 CNNs，我们提出了一种混合架构用于医学图像分割，旨在克服 CNNs 在捕捉全局依赖性和局部空间细节方面的局限性。我们通过比较各种架构和配置，并进行多次实验来评估它们的有效性。

Jan, 2024

多模融合深度学习模型在疾病识别中的应用

本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

May, 2024

Dermacen Analytica：在远程皮肤科中整合多模态大型语言模型与机器学习的新方法

通过结合机器学习算法、分类器、分割算法和最新的大型语言模型，本文描述、实现和评估了一种基于人工智能的系统和方法，旨在辅助皮肤病变和其他皮肤状况的诊断过程，并通过综合方法全面解决皮肤病理诊断的问题。该方法整合了大型语言模型、基于变形器的视觉模型和复杂的机器学习工具，通过使用公开可用的皮肤病例和相关图像，通过交叉模型验证技术和自然语言处理工具评估了提出的方法。我们实现的系统在上下文理解和诊断准确性两个方面均获得了约为 0.87 的加权得分，证明了我们方法的有效性。该方法预期在发展下一代远程皮肤科咨询应用中发挥重要作用，增强远程会诊能力和卫生保健服务的可及性，特别是在服务不足的地区。

Mar, 2024

多任务可解释性皮肤病变分类

通过使用多任务少样本学习方法，我们提出了一种适应少量标记数据的多任务少样本学习方法，结合分割网络和分类网络，以实现对皮肤病变的自动分类和检测，提高皮肤癌的早期检测率。

Oct, 2023

基于视觉变换器的皮肤癌分割与分类，用于皮肤镜非侵入式数字系统的自动分析

这篇研究论文介绍了一种开创性的方法来进行皮肤癌分类，采用了视觉转换器作为深度学习架构，在精细标注的皮肤病变图像数据集上进行预处理和训练，通过自注意机制捕捉复杂的空间依赖关系，取得优于传统深度学习架构的卓越性能，特别是 Google 基于 ViT patch-32 变体，达到 96.15% 的准确率，为皮肤科医生在皮肤癌诊断中提供了潜力巨大的有效工具。

Jan, 2024