Dec, 2023

旋转多尺度交互网络用于遥感图像分割

PDF
TL;DR引用远程感应图像分割（RRSIS）是一个将计算机视觉和自然语言处理相结合的新挑战，根据文本查询在航空图像中划定特定区域。为了解决此挑战，我们引入了旋转多尺度交互网络（RMSIN），它包含了用于处理多尺度细节的内尺度交互模块（IIM）和用于在网络中一致地整合这些细节的跨尺度交互模块（CIM），此外，RMSIN 还采用适应性旋转卷积（ARC）来考虑物体的多样方向，极大地提高了分割准确性。通过对包含 17,402 个图像 - 标题 - 掩模三元组的数据集进行实验评估，RMSIN 表现出了超出现有最先进模型很大的性能优势。
referring remote sensing image segmentationrrsisrotated multi-scale interaction networkrmsinadaptive rotated convolution
发现论文，激发创造
  • RRSIS：遥感图像分割引用

    本文提出引用遥感图像分割 (RRSIS) 来填补遥感图像分割这一领域的研究空白，并针对存在的问题设计了一种基于语言导向的跨尺度增强 (LGCE) 模块，该模块能够自适应地结合深浅特征，从而更好地实现目标物体的定位。

    Jun, 2023

  • 全面多模互动用于图像分割指称

    本研究提出了一种基于 Synchronous Multi-Modal Fusion Module 和 Hierarchical Cross-Modal Aggregation Module 的引用图像分割模型，并通过四个基准数据集的实验验证了其性能优于现有最先进的方法。

    Apr, 2021

  • 空间语义循环挖掘用于指代图像分割

    本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross-scale Abstract Semantic Guided Decoder (CASG) 来凸显指代物的前景。实验证明，该方法在四个具有挑战性的数据集上表现优于其他先进算法。

    May, 2024

  • 参照图像分割的两阶段视觉线索增强网络

    本文旨在解决 参考图像分割 (RIS) 中当图像中被参考的物体视觉线索不足时，学习匹配行为变得更困难的问题，提出了一种两阶段视觉提示增强网络 (TV-Net)，可以有效增强参考物体的视觉信息，尤其是在视觉线索不足的情况下。并且通过在四个基准数据集上的实验，验证了所提出的 TV-Net 方法有效性并超越了现有技术的水平。

    Oct, 2021

  • 基于交叉空间像素整合和交叉阶段特征融合的遥感图像超分辨率变换网络

    用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

    Jul, 2023

  • 超越融合：一种用于遥感图像 - 文本检索的多尺度对齐方法

    遥感图像文本检索领域的研究论文，介绍了一种新的多尺度对齐方法，使用多尺度图像特征和本地化文本特征进行交叉对齐，并引入语义对齐损失与跨尺度多模态语义一致性损失，通过在多个数据集上的评估证明了其优越性。

    May, 2024

  • 航空影像中的交互式分割：一个新的基准和一个开放的网络工具

    最近几年，深度学习已成为遥感应用中强大的方法，尤其在从卫星和航空图像中提取重要地物的分割和分类技术中起到关键作用。然而，只有少数论文讨论了深度学习在地物覆盖分类任务中交互式分割的应用。本研究旨在通过对各种基于深度学习的交互式分割模型进行基准研究，弥合交互式分割和遥感图像分析之间的差距。我们在两个高分辨率航空影像数据集上评估了五种最先进的交互式分割方法（SimpleClick、FocalClick、Iterative Click Loss (ICL)、Reviving Iterative Training with Mask Guidance for Interactive Segmentation (RITM) 和 Segment Anything (SAM)）的性能。为了在不需要多个模型的情况下提高分割结果，我们引入了一种创新的推理策略 —— 级联前向细化（CFR）方法，用于交互式分割。我们在遥感中评估了这些交互式分割方法在不同的地物覆盖类型、目标尺寸和波段组合上的表现。令人惊讶的是，广为讨论的方法 SAM 在遥感图像中表现不佳。相反，SimpleClick 模型中使用的基于点的方法在所有实验中始终优于其他方法。基于这些发现，我们开发了一个名为 RSISeg 的专用在线工具，用于遥感数据的交互式分割。RSISeg 采用了一个性能良好的交互式模型，并通过遥感数据进行了微调。此外，我们把 SAM 模型集成到这个工具中。与现有的交互式分割工具相比，RSISeg 具有较强的交互性、可修改性和适应性。

    Aug, 2023

  • 多尺度隐式转换器与重新参数化的任意尺度超分辨率

    最近，基于隐式神经表示的方法在任意尺度超分辨率（ASSR）方面展现出了出色的能力。我们设计了多尺度隐式变换器（MSIT），其中包含一个多尺度神经操作器（MSNO）和多尺度自注意力（MSSA）。通过功能增强、多尺度特征提取和多尺度特征融合，MSNO 获得了多尺度潜在编码。MSSA 进一步增强了潜在编码的多尺度特征，从而提高了性能。此外，为了改进网络性能，我们提出了与累积训练策略相结合的重互作用模块（RIM），以改进网络学习信息的多样性。我们首次在 ASSR 中系统地引入了多尺度特征，并进行了大量实验证明了 MSIT 的有效性，我们的方法在任意超分辨率任务中取得了最先进的性能。

    Mar, 2024

  • 利用文本监督进行参考图像分割

    我们提出了一种新颖的弱监督引用图像分割 (RIS) 框架，通过将目标定位问题在分类过程中进行正负文本表达的区分来利用 RIS 中已有的引用文本提供的信息来定位目标物体。我们的框架具有三个主要创新点：借助双向提示方法协调视觉和语言特征之间的域差异，通过校准方法减少噪声背景信息并提高响应图的正确性，通过正响应图选择策略从增强的响应图生成高质量的伪标签，用于训练 RIS 推理的分割网络。通过在四个基准数据集上的实验证明，我们的框架在与现有的全监督 RIS 方法相当的性能的同时，优于从相关领域调整的最新弱监督方法。

    Aug, 2023

  • RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法

    由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中，我们提出了 Adapter-Scale 和 Adapter-Feature 模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。

    Feb, 2024