Nov, 2023

基于文本提示的空间协变图像配准

PDF
TL;DRtextSCF 是一种新方法，通过整合空间协变滤波器和由视觉语言模型编码的解剖学区域的文本提示，从而在形变图像配准方面实现了良好的性能。它通过捕捉解剖区域之间的上下文相互作用，提供了令人印象深刻的区域间可转移性，并能在配准过程中保留结构性不连续性。在腹部图像配准任务中，textSCF 的较大模型变体相对于第二好的模型，将 Dice 系数提高了 11.3％，而较小模型变体则在保持类似准确性的同时，网络参数减少了 89.13％，计算操作减少了 98.34％。
medical imagesanatomical priorsdeformable image registrationtextscfvisual-language models
发现论文，激发创造
  • 空间协变病变分割

    本文提出了一种空间协变像素对齐分类器 (SCP)，以提高计算效率和同时保持或提高对病变分割的准确性。使用 SCP 的神经网络在白质高信号灶分割和肝脏肿瘤分割两个任务中实现了 GPU 内存使用量、FLOPs 和网络大小分别减少 23.8%、64.9% 和 74.7%，同时保持或提高准确性。

    Jan, 2023

  • 多模态图像配准的弱监督卷积神经网络

    本文提出了一种基于卷积神经网络的方法，借助高水平结构对应信息（即解剖标记）推测像素变化，从而实现多模态图像对齐。结果表明，该方法具有广泛的适用性，可在训练过程中利用各种不同类型的解剖标记，并能实现实时自动化、无需标记或初始化的三维图像对齐。

    Jul, 2018

  • SpaText: 控制型图像生成的空间文本表示

    该论文提出了一种使用开放词汇场景控制的文本到图像生成方法 SpaText，基于 CLIP 的空间 - 文本表示方法，通过支持自由形式的自然语言描述的感兴趣区域的分割图来控制场景的布局和不同区域对象的形状。此外，该论文还提供了几种自动评估指标，并使用它们以及 FID 指标和用户研究来评估其方法，在具有自由形式文本场景控制的图像生成方面实现了最先进的结果。

    Nov, 2022

  • 医学图像分割的多尺度渐进式文本提示网络

    该研究提出了一种使用渐进式文本提示作为先验知识来指导医学图像分割任务的方法，通过使用先前训练好的先验提示编码器（PPE）生成多模式特征来实现，这使得我们可以在低数据注释成本的情况下，通过整合图像和文本信息得到高质量的分割结果。

    Jun, 2023

  • CAT: 坐标解剖学与文本启示的多器官和肿瘤分割

    在医学影像领域，现有的可提示分割方法主要考虑文本或视觉提示，但在处理医学图像中的异常情况（如肿瘤）时往往存在一些局限性，因为肿瘤在形状、大小和外观等方面可能存在很大的变异。为了解决医学场景的复杂性和文本或视觉提示的局限性，我们提出了一种新颖的双提示模式，利用视觉和文本提示的互补优势来分割各种器官和肿瘤。具体而言，我们引入了一种创新的模型 CAT，它通过医学领域知识丰富的 3D 裁剪图像生成解剖提示，与富含医学领域知识的文本提示进行配合。该模型采用了基于查询的通用设计，其中提示查询有助于进行掩模预测的分割查询。为了在统一框架内协调两种类型的提示，我们实现了一个 ShareRefiner，它同时改进了分割和提示查询，同时解耦了两种类型的提示。在由 10 个公共 CT 数据集组成的联合培训集上进行训练，CAT 在多个分割任务中展现出卓越的性能。在一组特殊的内部数据集上进行的进一步验证显示了在多个癌症阶段分割肿瘤的显著能力。这种方法验证了协调多模式提示是解决医学领域复杂场景的一种有前途的途径。

    Jun, 2024

  • 基于标签驱动的弱监督学习用于多模态变形图像配准

    采用标签驱动式表达，利用卷积神经网络的密集位移场，通过最小化变形移动标签和固定标签的交叉熵函数，使医学图像的标志物在不同模态之间匹配，改进了医学图像的对齐性。

    Nov, 2017

  • SCNet：学习语义对应性

    本文提出了 SCNet，一种基于卷积神经网络的语义对应的几何合理模型，利用区域提议实现匹配原语，并明确将几何一致性纳入其损失函数中，该方法在多项基准测试中均表现优异。

    May, 2017

  • 傅立叶轮廓嵌入在任意形状文本检测中的应用

    该研究论文提出了一种称为 Fourier Contour Embedding (FCE) 方法，通过傅里叶变换将任意形状的文本轮廓表示为紧凑的签名，并构建 FCENet 模型进行文本检测，实验结果表明其准确度和鲁棒性均较高。

    Apr, 2021

  • 医学图像配准的半弱监督神经网络训练

    通过弱监督方法以及对未标记数据应用一致性无监督损失，本文提出了一种半弱监督注册流程，改进了模型性能，并构建了一个计算解剖图谱用于盆腔结构。

    Feb, 2024

  • 野外匹配：学习用于多模态图像的解剖嵌入

    为了解决不同 FOV 的图像对齐问题，本文提出了一种名为 Cross-SAM 的新方法，该方法利用嵌入学习和 CT-MRI 注册的迭代过程，以实现跨模态匹配，并在 CT-MRI 仿射注册数据集上表现出鲁棒性，明显优于其他方法，达到了最先进的性能。

    Jul, 2023