IFSENet:利用稀疏迭代实现交互式少样本分割的卓越性能
本文介绍了少量样本分类和分割的集成任务 (FS-CS),将两个常规的少量样本学习问题广义化到具有任意图像对的更现实的情境。提出了用于 FS-CS 的集成少量样本学习 (iFSL) 框架,该框架训练学习者构建类别化的前景图,用于多标签分类和像素级分割。同时开发了一个有效的 iFSL 模型,称为 ASNet,该模型利用深层语义相关性和全局自我注意力来生成可靠的前景图。结果表明,所提出的方法在 FS-CS 任务上表现良好,并在标准的少量样本分割基准上取得了最优结果。
Mar, 2022
在增量少样本语义分割(iFSS)问题中,我们提出了一种名为 OINet 的网络,即背景嵌入空间组织和原型继承网络,通过在训练基础类别时使用多个分类头和多个子类原型来保留新类别的嵌入空间,并提出了一种策略来选择最匹配当前学习新类别的子类原型,使新类别能够在少样本下注册在嵌入空间中,而不影响基础类别的分布,Pascal-VOC 和 COCO 上的结果表明,OINet 取得了最新的技术成果。
May, 2024
本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架,实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法,还能够取得与最近的有监督方法相当甚至更好的结果,并且具有出色的野外图像和非常规类别的泛化能力。
Mar, 2023
本文提出了一种基于多模态交互模块的小样本物体分割方法,该方法利用视觉和词嵌入的协同注意机制,使用图像级标签在 PASCAL-5i 数据集上实现了 4.8% 的提高,并在 YouTube-VOS 数据集上展示了 TOSFL 实验的实例级和类别级结果。
Jan, 2020
研究在稀缺数据的支持下,将少样本学习方法拓展到密集语义图像分割中,通过训练网络,产生 Fully Convolutional Network 参数来执行稀缺数据学习。与 PASCAL VOC 2012 数据集中最佳基线方法相比,我们的架构在新语义类的单次分段中展示了相对 25% 的 meanIoU 改进,并且速度至少快 3 倍。
Sep, 2017
基于适配器机制提出了一种新的 Few-Shot Segmentation (FSS) 框架,设计了 Prototype Adaptive Module (PAM) 来提高 FSS 模型的性能和实现新的最先进结果。
Dec, 2023
通过使用 SegGPT 作为基础模型,分别为每个新类别使用可学习的提示语进行预测,并通过图像修复任务解决遥感领域中存在的对象大小不一致性和补丁边界的不连续性问题,同时利用图像嵌入的相似性搜索来选择提示语和减少误报预测,实验结果表明我们的方法将简单微调的 SegGPT 在 Few-shot OpenEarthMap 数据集验证集上的加权 mIoU 从 15.96 提升到 35.08。
Apr, 2024
本文提出 CANet,一种无类别限制的语义分割网络,可以在只有少量标注图像的情况下用于新类别的分割,网络采用两个分支的密集比较模块进行多层特征比较,并采用迭代优化模块进行预测结果的迭代优化,并引入注意机制来对 k-shot 学习中的多个支持样本信息进行有效融合,实验结果在 PASCAL VOC 2012 数据集上表明,在 1-shot 和 5-shot 分割中取得 55.4%和 57.1%的平均 IoU 分数,分别比现有最佳方法高出 14.6%和 13.2%。
Mar, 2019
本研究提出了一种基于度量学习的原型对齐网络(PANet)来解决仅使用少量样本进行图像分割的问题,它通过学习每个语义类别的原型表示,并通过匹配每个像素到所学习的原型来执行查询图像的分割,最终在 PASCAL-5i 上超越了现有技术达到了 48.1% 和 55.7% 的 mIoU 得分(1-shot 和 5-shot 设置),是一种有效的 few-shot segmentation 方法。
Aug, 2019