DARNet: 动态适应下的跨域少样本分割中填补领域差距
面对与训练领域不同的图像时,少样本分割性能大幅下降,这限制了其在现实世界的应用。本研究通过在传统的分类预训练骨干网络的特征金字塔中附加小型网络实现测试时任务自适应,避免过拟合到有监督微调中的少量标记样本,同时在不使用测试时的其他图像的限制下,在交叉领域少样本分割中取得了新的最先进性能,证明了在这个任务中重新思考方法的必要性。
Feb, 2024
跨领域少样本语义分割(CD-FSS)旨在训练能够用少量标记图像从不同领域分割类别的通用模型。本文提出了基于双重匹配变换网络(DMTNet)的算法来解决特征转换中的问题。通过使用自匹配变换(SMT)构造基于查询图像自身的查询特定变换矩阵,而不是完全依赖支持图像,可以防止过拟合。此外,还提出了测试时间自校准(TSF)策略来更准确地在未知领域中自动调整查询预测。在四个流行数据集上进行的广泛实验表明,DMTNet 相比最先进的方法获得了卓越的性能。
May, 2024
跨领域少样本分割 (CD-FSS) 需要仅使用有限样本从不同领域中对新颖类别进行分割,论文发现通过 fine-tuning 阶段有效地在领域之间转移学习得到的元知识的必要性以及由于新颖类别样本稀缺导致朴素的 fine-tuning 存在过拟合风险,并提出了一种解决这一挑战的新型跨领域 fine-tuning 策略,通过设计双向少样本预测 (BFP) 和迭代少样本适配器 (IFA) 来降低过拟合风险并最大化利用稀疏的新颖类别样本的监督信号,实验证明该方法显著优于当前技术水平 (+7.8%),验证了 IFA 能同时应对跨领域挑战和减轻过拟合问题。代码将提供。
Jan, 2024
提出了一种新型的残差转换网络(RestNet),在保留域内支持 - 查询特征信息的同时,通过语义增强锚点转换模块(SEAT)将特征映射到稳定的域无关空间,以及通过域内残差增强模块(IRE)在新空间中维持原始判别空间的域内表示。提出了基于原型融合的掩模预测策略,帮助模型逐渐学习如何进行分割。实验证明,RestNet 在 ISIC、胸部 X 光和 FSS-1000 数据集上取得了最先进的性能。
Aug, 2023
在少样本语义分割中,通过使用适配器将不同目标域风格矫正到源域,来提高现有方法在领域转移中的性能。我们提出了一种局部 - 全局样式扰动方法,用于模拟不同潜在目标域,并引入一个循环域对齐模块来有效地校正域。大量的实验证明了我们的方法的有效性,并在跨域少样本语义分割任务中取得了有希望的结果。
Apr, 2024
本研究在跨领域少样本动作识别问题中,通过系统性评估已有的单领域、基于迁移的和跨领域方法,发现领域差异与性能之间存在相关性,揭示了一些对 CD-FSAR 方法有效的模型方面,以及需要进一步发展的方面,希望这些洞见能够激发和指导未来在这些方向上的研究工作。
Jun, 2024
引入了一种新型的自动提示网络(APSeg)用于跨领域的少样本语义分割(CD-FSS),其中采用了 Dual Prototype Anchor Transformation(DPAT)模块从伪查询原型和支持原型中融合特征,实现了对跨领域分割的自动引导。该模型在四个跨领域数据集上的实验证明,在 1-shot 和 5-shot 设置中相对于现有的 CD-FSS 方法,模型的平均准确率分别提高了 5.24% 和 3.10%。
Jun, 2024
基于适配器机制提出了一种新的 Few-Shot Segmentation (FSS) 框架,设计了 Prototype Adaptive Module (PAM) 来提高 FSS 模型的性能和实现新的最先进结果。
Dec, 2023
通过设计自适应语义一致性机制,提出了一种适应性的源领域知识转移框架(ASC),通过在源领域预训练中重用源图像并设计自适应的权重分配策略,实现了源领域知识向目标领域的显式转移,有效地减轻了跨领域 few-shot 分类中过拟合的问题。
Aug, 2023
提出一种名为 FAFRCNN 的基于源域数据训练的检测器的 few-shot adaptation 方法,通过配对机制和双层模块来实现对目标域中目标检测的准确性提高。
Mar, 2019