鲁棒且普适的医学图像分割的空间和光谱学习的协调

Jan, 2024

鲁棒且普适的医学图像分割的空间和光谱学习的协调

Harmonized Spatial and Spectral Learning for Robust and Generalized Medical Image Segmentation

Vandan Gorade, Sparsh Mittal, Debesh Jha, Rekha Singhal, Ulas Bagci

TL;DR本研究介绍了一种新颖方法，通过结合空间和频谱表示来增强领域通用医学图像分割的能力，并引入了创新的谱相关系数目标函数来提高模型对中阶特征和上下文长距离依赖关系的捕捉能力。大量实验证明，优化该目标函数能显著提高 UNet 和 TransUNet 等现有架构的泛化能力、解释能力和噪声鲁棒性，生成更可信的预测结果。

Abstract

deep learning has demonstrated remarkable achievements in medical image segmentation. However, prevailing deep learning models struggle with poor generalization due to (i) intra-class variations, where the same c

deep learning medical image segmentation spatial and spectral representations domain-generalized spectral correlation coefficient objective

发现论文，激发创造

深度谱方法：无监督语义分割和定位惊人强大的基准线

通过基于传统光谱分割方法，将图像分解为由自我监督网络的特征亲和矩阵的拉普拉斯特征向量，以对场景中的对象进行定位和义分割的无监督方法，在 Pascal VOC，MS-COCO 等复杂数据集上取得了显著的定位和分割优势。

May, 2022

使用具有判别嵌入的全局相关网络进行小样本医学图像分割

本文提出了一种基于全局相关模块和判别性嵌入损失的少样本医学图像分割方法，利用深度卷积神经网络高效准确地进行分割，取得了最新的实验成果。

Dec, 2020

医学图像分割的空间频率双重逐步注意力网络

我们提出了 SF-UNet，这是一个具有空间频率双域注意力网络的模型，用于准确的医学图像分割，并在三个公共数据集上证明其有效性。

Jun, 2024

医学影像系统的深度学习特征提取识别的进展

提出了一种利用空间分层技术的新型无监督医学图像特征提取方法，并提出了基于权重的目标函数以实现快速图像识别。该算法将图像的像素分为多个子域，并使用四叉树访问图像。利用单纯形算法提出了一种阈值优化技术。针对高光谱图像的非线性特征，提出了一种基于核函数的广义判别分析算法。该方法不仅可以克服传统方法易受光线影响的缺点，还可以快速准确地提取目标特征，对临床诊断具有重要的参考意义。

May, 2024

通用多模态 Transformer 满足遥感语义分割

在遥感语义分割领域中，本研究调查了 PerceiverIO 等普适性多模态网络在处理遥感图像中的物体尺度变化和车辆检测方面的表现，并提出一种空间和体积学习组件来解决这些问题。通过广泛的实验证明，该方法在与 UNetFormer 和 SwinUNet 等专用架构相比具有竞争力的结果，显示出最小化网络架构工程且性能不受明显影响的潜力。

Jul, 2023

少样本遥感图像语义分割中的自相关和互相关学习

远程感知图像的语义分割是远程感知图像解释中的重要问题。目前已经取得了显著的进展，虽然现有的深度神经网络方法在依赖大量训练数据方面存在问题。少样本远程感知语义分割旨在仅使用少量标注的目标类别支持图像从查询图像中学习分割目标对象。然而，现有的少样本学习方法主要集中在从支持图像中提取信息，未能有效解决地理对象外观和尺度的大差异。为了解决这些挑战，我们提出了一种自相关和交叉相关学习网络，用于少样本远程感知图像语义分割。我们的模型通过考虑支持图像和查询图像之间的自相关和交叉相关来增强泛化性能。为了进一步探索与查询图像的自相关性，我们提出采用经典的频谱方法，基于图像的基本视觉信息生成一个类别无关的分割掩模。在两个远程感知图像数据集上进行了大量实验，证明了我们的模型在少样本远程感知图像语义分割中的有效性和优越性。代码和模型可以在此 URL 中访问。

Sep, 2023

空间协变病变分割

本文提出了一种空间协变像素对齐分类器 (SCP)，以提高计算效率和同时保持或提高对病变分割的准确性。使用 SCP 的神经网络在白质高信号灶分割和肝脏肿瘤分割两个任务中实现了 GPU 内存使用量、FLOPs 和网络大小分别减少 23.8%、64.9% 和 74.7%，同时保持或提高准确性。

Jan, 2023

半监督医学图像分割的多尺度交叉对比学习

本文提出了一种 MCSC 框架，联合训练 CNN 和 Transformer 模型，并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明，该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上，并且大大缩小了与全监督方法之间的性能差距。

Jun, 2023

具有谱对比损失的自监督深度学习的可证明保证

本文提出了一种基于数据增强图的对比学习新概念，该概念能够以神经网络表示为对比学习目标提供详细的光谱分解损失，并在理论上证明了具有可验证的精度保证的特征学习方法，同时以实验证明其与一些强大基线方法相当或更好地匹配在基准视觉数据集上。

Jun, 2021

基于对比学习的光谱知识蒸馏在语义分割中的多模态和缺失模态场景下的应用

通过使用多光谱信息来提高语义分割模型的性能对于低光和恶劣环境至关重要。提出了一种名为 CSK-Net 的新型多模态融合方法，它利用对比学习为光学（EO）和红外（IR）图像的语义分割提供了基于光谱知识蒸馏的融合技术。该方法不仅在多模态任务上超过了现有的模型，而且在缺失模态的情况下，仅利用 IR 数据进行推断就能提高性能，而与基线分割模型相比，并没有额外的计算成本。

Dec, 2023