Sep, 2023

HiT: 基于分层 Transformers 的建筑物映射

PDF
TL;DR深度学习方法在遥感影像中自动建筑物映射方面得到广泛研究。本文提出了一种简单且新颖的基于 Hierarchical Transformers 的建筑物映射方法 HiT，通过增加一个多边形头并行于分类和边界框回归头的两阶段检测结构实现了从高分辨率遥感影像中提取多边形建筑物的质量改进。经过包括分割、多边形化和正则化在内的一系列问题的分解，传统的建筑物映射方法常常导致复杂的推断过程、低准确率和差泛化能力。HiT 同时输出建筑物边界框和矢量多边形，并进行端到端的训练。多边形头采用编码 - 解码的 Transformer 架构来预测带有双向特点的序列化顶点，采用设计的双向多边形损失进行监督。此外，多边形头的编码器引入了分层注意机制和卷积操作，提供了顶点和边界级别的更多几何结构。在 CrowdAI 和 Inria 两个基准数据集上的综合实验表明，与现有技术方法相比，我们的方法在实例分割和多边形度量方面达到了最新的良好结果。此外，定性结果验证了我们的模型在复杂场景下的优越性和有效性。
发现论文，激发创造
  • 从卫星图像中提取拓扑地图

    PolyMapper 是一种新的方法，用于从空中图像中直接提取城市的拓扑地图，并提出了一种新的序列化方法以实现不同类型对象的统一形状表示，其能够在现有大规模数据集上以全自动方式绘制建筑物和道路的多边形，表现得很好。

    Dec, 2018

  • 探索轻量级分层视觉转换器用于高效视觉跟踪

    引入 HiT 模型和 Bridge Module 以及双图像位置编码技术，实现高速且性能优越的追踪模型。

    Aug, 2023

  • HiFT：用于航拍跟踪的分层特征变换器

    本文提出了一种基于 Siamese 的跟踪方法，采用分层特征变换对多级卷积层生成的分层相似度图进行交互式融合，提高了全局的上下文信息，更高效地学习多级特征之间的相互依赖关系，并且实现了在实时速度情况下的实际应用，该方法在四个空中基准测试中被证明具有很好的效果。

    Jul, 2021

  • 连接点：使用双层查询进行平面图重建

    该研究主要讨论了如何使用 Transformer Architecture 来解决 2D 平面图的重建问题，并通过多个数据集的实验证明了其在各方面的优越性。

    Nov, 2022

  • HEAT: 用于结构化重构的全面边缘注意转换器

    本文提出了基于注意力机制的神经网络，能够将二维光栅图像重构为描述基础几何结构的平面图，并通过端到端的方式检测角点和分类角点之间的边缘候选项。实验结果表明，本方法在室外建筑构建和室内平面图重建等结构化重建任务上优于现有方法。

    Nov, 2021

  • 自动建筑轮廓提取的混合特征嵌入

    本文提出了一个基于 CNN 和 Transformer 以及主动轮廓模型的模型，用于从原始图像中准确识别轮廓并构建建筑物的大纲，同时设计了一个三分支解码器结构来处理由编码器生成的不同特征。实验结果表明，我们的模型在两个数据集上优于其他基准模型，在 Vaihingen 上达到了 91.1% 的 mIoU，在 Bing 屋上达到了 83.8%。

    Jul, 2023

  • 基于层次图像金字塔变换器的结肠活检和肠息肉组织病理图像分类基准评估

    在高分辨率组织病理学全幻灯片图像中，使用高质量的像素级标注训练神经网络是昂贵的。然而，最近自监督学习的进展表明，可以学习到高度描述性的图像表示，而无需标注。我们研究了最近的分层图像金字塔变换器（HIPT）模型在结直肠活检和息肉分类等特定任务中的应用。在评估 TCGA 学习的特征对原始 HIPT 模型的有效性后，我们使用两种不同策略将结肠活检图像信息纳入 HIPT 的预训练中：（1）从现有的 TCGA 权重微调 HIPT，以及（2）从随机权重初始化预训练 HIPT。我们比较了这些预训练方案在两个结直肠活检分类任务（二元分类和多类分类）上的性能。

    May, 2024

  • 图像字幕层次分析

    该论文提出了一种基于分层结构的图像编码器，通过将图像分解为实例级别、区域级别和整体级别的层次结构，引入了分层解析（HIP）架构，大大提高了基于神经网络的图像描述性能，结合图卷积网络（GCN）可以进一步提高描述性能。

    Sep, 2019

  • P2PFormer：一种从遥感影像中提取规则建筑轮廓的点 - 多边形方法

    从遥感图像中提取建筑轮廓是一个重要的挑战，本文介绍了一种新的流线型流程以无需后处理生成规则的建筑轮廓，使用分割通用几何图元并预测它们的顺序，在此基础上，开发了一个利用 Transformer 架构的 P2PFormer，通过引入群体查询的独特表示方法，结合创新的内隐更新策略，提高了图元分割的质量，实验证明 P2PFormer 在多个数据集上表现优于先前的方法。

    Jun, 2024

  • Box2Poly: 内存高效多边形预测任意形状和旋转文本

    通过使用 Sparse R-CNN 中的级联解码流程进行多边形预测，我们提出了一种创新的方法来解决基于 Transformer 的文本检测技术中的挑战，既能提高精度，又能减少内存占用和推理速度。

    Sep, 2023