少即是多：朝着高效的零样本 3D 语义分割网络

Aug, 2023

少即是多：朝着高效的零样本 3D 语义分割网络

Less is More: Towards Efficient Few-shot 3D Semantic Segmentation via Training-free Networks

Xiangyang Zhu, Renrui Zhang, Bowei He, Ziyu Guo, Jiaming Liu...

TL;DR为了减少对大规模数据集的依赖，最近在 3D 分割方面的研究转向了少样本学习。本文提出了一种高效的无训练的 3D 少样本分割网络 TFS3D 和基于训练的变种 TFS3D-T，通过三角函数位置编码提取密集表示，取得了可与以往基于训练方法相媲美的性能。与预训练方法相比，TFS3D 能够缓解领域差异问题并节省大量时间。基于 TFS3D，TFS3D-T 只需训练一个轻量级的查询 - 支持转移注意力，增强了少样本查询和支持数据之间的交互。实验结果表明，在 S3DIS 和 ScanNet 上，TFS3D-T 分别将最先进方法的 mIoU 提高了 6.93% 和 17.96%，同时训练时间减少了 90%，显示出卓越的有效性和高效性。

Abstract

To reduce the reliance on large-scale datasets, recent works in 3D segmentation resort to few-shot learning. Current 3D few-shot semantic segmentation methods first pre-train the models on `seen' classes, and then evaluate their generalization performance on `unseen' classes. However,

3d segmentation few-shot learning training-free positional encodings query-support transferring attention

发现论文，激发创造

无时间训练：为 Few-shot 3D 场景分割赋能的非参数网络

基于非参数化网络和支持查询传递模块，我们提出了一个用于 few-shot 3D 分割的 Seg-NN 和 Seg-PN 方法，其中 Seg-NN 通过手工设计滤波器来提取密集表示，Seg-PN 则通过训练轻量级的 QUERY-SUPPORT Transferring 模块来增强支持集和查询集之间的交互。实验证明，Seg-PN 在 S3DIS 和 ScanNet 数据集上优于先前的最先进方法，mIoU 分别提高 4.19％和 7.71％，同时减少了 90％的训练时间，表明其有效性和效率。

Apr, 2024

有效的几类点云分类任务需要什么？

该研究对最近在机器学习领域受到欢迎的少样本学习在三维感知上的应用进行了深入系统研究，提出了一种新的组件 Cross-Instance Adaptation（CIA） module，将其插入到当前基线模型中可显著提高表现，并在两个新的基准数据集上证明了该模型的优越性。

Mar, 2023

简化：降低 3D 点云语义分割的任务和模型复杂度

本文提出了一种基于稀疏深度可分离卷积模块的新型管道，该管道通过减少网络参数数量并保留整体任务性能，需要更少的地面真实注释来实现优越的分割准确性，并提出了一个新的用于处理 3D LiDAR 点云数据的样本下采样方法，与现有方法相比具有更好的性能，同时在有限的训练数据上也表现出显着的性能提高。

Mar, 2023

基于双向 RNN 的 3D 医学图像分割少样本学习

本文提出了一种基于 3D 少样本学习的器官分割框架，通过学习支撑数据的 2D 片段与查询图像之间的关系，包括一个学习编码特征的双向门控循环单元（GRU），以及在使用任意支撑和查询数据之前通过迁移学习方法更新模型来适应目标图像和器官的特征。在三个 3D CT 数据集上测试，该模型的性能显著优于最先进的少样本分割模型，并且与使用更多目标训练数据训练的完全监督模型相当。

Nov, 2020

利用 Transformer 提升 Few-shot 语义分割

本文提出了一种基于 TRansformer 网络的 Few-shot 语义分割方法（TRFS），它采用全局增强模块（GEM）和局部增强模块（LEM）相结合的方法，可以在 PASCAL-5i 和 COCO 数据集上取得新的最优表现。

Aug, 2021

基于语言的室内野外 3D 语义分割

本文提出新的计算机视觉方法，使 3D 语义分割可以更好地理解具有更多类别和自然分布的真实环境，并在新的扩展基准上测试，使用语言驱动的预训练方法使特征更鲁棒。实验结果表明，我们的方法在提出的基准上始终优于现有技术。

Apr, 2022

Segment3D: 无需手动标注的细粒度类别无关三维分割学习

通过引入 2D 模型的特性，我们提出了 Segment3D 方法，用于生成高质量的 3D 场景分割掩码，从而实现对于细粒度掩码的改进，并且能够轻松添加新的训练数据以进一步提升分割性能，而无需手动标注训练标签。

Dec, 2023

生成式零样本学习用于三维点云语义分割

本研究提出了一种新的基于生成模型的零样本学习方法，能够处理包括分类和语义分割在内的三维数据，在 ModelNet40 数据集上表现良好，并在 S3DIS，ScanNet 和 SemanticKITTI 数据集上进行了验证。

Aug, 2021

通用少样本语义分割

本文中，我们介绍了一个名为 “广义 Few-Shot 语义分割（GFS-Seg）” 的新基准数据集，用于分析在同时分割具有非常少的示例的新类别和具有足够示例的基础类别的情况下的内在泛化能力。我们提出了一种名为 “上下文感知原型学习（CAPL）” 的方法来提高模型的性能，该方法通过从支持样本中利用共现先验知识并动态丰富上下文信息到分类器，条件是基于每个查询图像的内容。在 Pascal-VOC 和 COCO 上的实验表明了 CAPL 的有效性，CAPL 在 Few-Shot Segmentation 上具有很好的泛化性能，且性能与现有状态 - of-the-art 方法相比有竞争力。

Oct, 2020

零样本语义分割

本文提出了一个新的任务：零样本语义分割，要求学习像素级分类器从未见过的物体类别中进行分类。ZS3Net 是本文提出的一种新架构，它将深度视觉分割模型与从语义词嵌入生成视觉表示的方法相结合，以实现在测试时间处理已见和未见类别的像素分类任务。本文还通过自我训练进一步提高了性能，并在 Pascal-VOC 和 Pascal-Context 两个标准分割数据集上提出了零样本基准并设立竞争基线。此外，对于像 Pascal-Context 数据集中的复杂场景，我们通过使用图形上下文编码来完全利用来自类别分割地图的空间上下文先验知识。

Jun, 2019