Jun, 2024

GMT：叶片实例分割的引导蒙版变换器

PDF
TL;DR本文提出了一种名为 Guided Mask Transformer（GMT）的新方法，其包含了三个关键组件，即 Guided Positional Encoding（GPE），Guided Embedding Fusion Module（GEFM）和 Guided Dynamic Positional Queries（GDPQ），以扩展 Mask2Former 的元架构，并结合一组谐波导向函数。这些导向函数是根据实例的像素位置量身定制的，并通过嵌入空间中训练来分隔不同的实例。提出的 GMT 在三个公共植物数据集上始终优于现有模型。
leaf instance segmentationplant growthcrop yield estimationspatial patternsguided mask transformer
发现论文，激发创造
  • MGMap: 面向在线矢量化高精度地图构建的掩码引导学习

    提出了一种名为 MGMap 的面具引导方法，通过引入学习到的面具实现了精确的地图元素定位，从而解决了当前的检测框架在定位相关特征范围和预测细节结构时存在的模糊性和丢失问题。

    Apr, 2024

  • GeoMask3D：3D 自监督点云学习的几何信息掩码选择

    我们引入了一种自监督学习的创新方法，采用一种名为 GeoMask3D（GM3D）的几何信息驱动的蒙版选择策略，以提高蒙版自编码器（MAE）的效率。与传统的随机蒙版方法不同，我们的技术利用师生模型来专注于数据中的复杂区域，引导模型关注具有更高几何复杂性的区域。我们的方法还提供了一种基于特征级信息的完全到部分的特征级知识提取技术，以指导几何复杂性的预测。大量实验证实了我们方法在分类和少样本任务中相对于现有基准的卓越性能。

    May, 2024

  • CMT-DeepLab：用于全景分割的聚类蒙版 Transformer

    本文提出基于聚类的分割框架 Clustering Mask Transformer (CMT-DeepLab)，该框架重构了现有的用于分割和检测的 Transformer 架构；CMT-DeepLab 将对象查询视为聚类中心，这些聚类中心可用于分割中像素的分组，并通过更密集、更一致的交叉注意力实现更好的分割结果。实验结果表明，CMT-DeepLab 在 COCO 测试集上达到了 55.7% 的 PQ，并较先前方法提高了 4.4% 的 PQ。

    Jun, 2022

  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • Tree-GPT：用于森林遥感图像理解和交互分析的模块化大型语言模型专家系统

    该论文介绍了一种新颖的框架 Tree-GPT，将大型语言模型（LLMs）整合到森林遥感数据工作流中，从而提高数据分析的效率。通过整合图像理解模块、领域知识库和工具链，使 LLMs 能够理解图像、获取准确的知识、生成代码和在本地环境中执行数据分析。该系统在搜索、可视化和机器学习分析等多个任务上表现良好，展示了 LLMs 在森林研究和环境科学中的潜力。

    Oct, 2023

  • 高质量实例分割的 Mask Transfiner

    本文介绍了一个高质量高效的实例分割方法 Mask Transfiner，该方法基于四叉树对图像区域进行分解和表示，并采用变换器方法处理检测到的存在误差的树节点并自动纠正错误，从而以较低的计算成本预测高度准确的实例掩码，并在三个流行基准测试上优于当前实例分割方法。

    Nov, 2021

  • 掩模关注掩模变换器用于通用图像分割

    提供一种新的架构 Mask2Former，该架构通过应用掩蔽注意力机制提取局部特征来解决多种类型的图像分割任务，包括全景分割、实体分割和语义分割，并且优于当前最佳的专门任务架构。

    Dec, 2021

  • MTLSegFormer：基于 Transformer 的多任务学习在精准农业语义分割中的应用

    MTLSegFormer 是一种结合多任务学习和注意机制的语义分割方法，通过学习任务相关特征和视觉注意力方法，实现了跨任务信息交换与加权，可以显著提高受其他任务相关性影响较大的任务的准确性。

    May, 2023

  • 高效遥感分割的生成对抗变换器

    通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

    Oct, 2023

  • 全局 - 局部细节引导的光学遥感图像中的海冰识别变压器

    通过全局 - 局部细节引导转换器（GDGT）方法，结合全局结构相关特征和局部空间细节特征，在光学遥感图像中提出了一种海冰识别方法，实验证明了 GDGT 的有效性和先进性。

    May, 2024