Jun, 2024

SPIRONet：基于空间频率学习和拓扑通道交互的血管分割网络

PDF
TL;DR提出了一种新颖的空间频率学习和拓扑通道交互网络（SPIRONet），旨在解决当前自动血管分割方法在低信噪比、细小的血管和强干扰等显著挑战下表现不佳的问题。通过使用双编码器全面捕获局部空间和全局频率血管特征，引入交叉注意力融合模块来有效融合空间和频率特征，以增强特征的可辨识度；此外，设计了一个拓扑通道交互模块，基于图神经网络来过滤掉与任务无关的响应。在多个具有挑战性的数据集上的广泛实验结果（CADSA，CAXF，DCA1 和 XCAD）显示出我们方法的最先进性能。此外，SPIRONet 的推理速度为 512x512 输入尺寸下的 21FPS，超过了临床实时要求（6〜12FPS）。这些有希望的成果表明 SPIRONet 在血管介入导航系统中的潜力。代码可在此 URL 找到。
vessel segmentationinterventional navigation systemsspatial-frequency learningtopological channel interaction networkinference speed
发现论文，激发创造
  • 利用频域学习进行三维血管分割

    冠状微血管疾病的风险对人类健康构成了重大威胁。通过计算机辅助分析和诊断系统，医学专业人员可以在疾病进展的早期进行干预，而 3D 血管分割作为关键组成部分。我们利用傅立叶域学习作为 3D 分层分割模型中多尺度卷积核的替代方法，既可以降低计算负荷，又能保持网络内的全局感受野。此外，设计了一个零参数频域融合方法来改进 U-Net 架构中的跳过连接。在一个公共数据集和一个内部数据集上的实验结果表明，我们的新颖傅立叶变换基于网络在管状血管分割任务中取得了显著的骰子性能（ASACA500 上达到 84.37％，ImageCAS 上达到 80.32％），同时还大大减少了计算需求，而不损害全局感受野。

    Jan, 2024

  • SPIN Road Mapper：通过空间和交互空间图推理从航拍图像中提取道路以用于自动驾驶

    提出了一种基于 SPIN 模块和金字塔网络的道路识别方法，该方法可以从卫星图像中高效且准确地提取出道路信息，并且在训练时收敛速度快。

    Sep, 2021

  • 医学图像分割的空间频率双重逐步注意力网络

    我们提出了 SF-UNet，这是一个具有空间频率双域注意力网络的模型，用于准确的医学图像分割，并在三个公共数据集上证明其有效性。

    Jun, 2024

  • 基于空域频域相互作用的双通路耦合图像去雨网络

    我们开发了一种创新的双路径耦合去雨网络（DPCNet），通过空间特征提取块（SFEBlock）和频率特征提取块（FFEBlock）在空间和频率域中整合信息，并引入了一种有效的自适应融合模块（AFM）来进行双通路径特征聚合。该方法在六个公共去雨基准和下游视觉任务上进行了大量实验证明，不仅超越了现有的最先进去雨方法，而且在下游视觉任务中具有出色的鲁棒性和视觉效果。

    Feb, 2024

  • 一种用于 4D 动态医学图像的时空体积插值网络

    介绍了用于 4D 动态医学图像的间隔时间体积插值网络 (SVIN)。SVIN 是利用三维卷积神经网络 (CNN) 进行无监督参数体积配准的空间 - 时间运动网络，并使用新的回归模块来表征功能器官结构中的周期运动循环。在实验结果中，SVIN 比最先进的医疗插值方法和自然视频插值方法表现更好，并且优于最先进的无监督医疗注册方法。

    Feb, 2020

  • 循环空间变换网络

    本文研究了如何将最近提出的空间变换网络（SPN）[Jaderberg et. al 2015] 集成到递归神经网络（RNN）中，形成一个 RNN-SPN 模型，用于对杂乱的 MNIST 序列中的数字进行分类。我们的模型通过对感兴趣的区域进行自适应降采样，从而取得了 1.5% 的错误率，表现优于使用卷积神经网络或卷积神经网络加上 SPN 层的方法。

    Sep, 2015

  • 基于傅里叶增强的隐式神经融合网络用于多光谱与高光谱图像融合

    该论文介绍了一种特定设计用于多光谱和高光谱图像融合任务的傅里叶增强的隐式神经融合网络，通过创新地提出了一种空间和频率隐式融合函数（Spa-Fre IFF）来捕捉高频信息并扩展感受野，并发明了一种新的解码器，使用复数 Gabor 小波激活函数，称为空间频率交互解码器（SFID），以增强隐式神经表示特征的交互作用。在两个基准多光谱和高光谱图像融合数据集上的实验证明了该方法在视觉上和定量上的最先进表现，同时消融研究证明了所提出的贡献。

    Apr, 2024

  • 基于深层通道注意力网络的连续血管分割

    本研究提出一种新型编码器 - 解码器深度网络结构，利用在当前帧中心处以滑动窗口方式，利用 2D+t 连续图像的多个上下文帧来分割 2D 血管掩膜。该架构具有时间和空间特征提取，跳跃连接层中的特征融合和解码器阶段的通道注意机制。通过对所提出的方法与其他最先进算法进行比较的广泛实验证明了该方法在定量指标和视觉验证方面的优越性。

    Feb, 2021

  • 切片网络

    医学图像中使用低频逼近来进行分割和变形拟合的概念未得到充分探索，本文提出了切片网络（Slicer Network）来利用这个特性，通过编码器和切片器的结合，引入了边缘保留的低频逼近以扩大网络的接受域，并在不同的医学图像应用中验证了其准确性和效率的提升。

    Jan, 2024

  • 一种关系增强的全卷积网络用于航空场景的语义分割

    本研究提出了空间关系模块和通道关系模块，可用于学习和推理任何两个空间位置或特征图之间的全局关系，并产生关系增强的特征表示。研究团队在利用两个航空图像数据集进行的语义分割任务中使用这些模块，取得了相当优异的结果，比基准模型有显著提升。

    Apr, 2019