基于判别示例引导和参数高效的特征空间适应的跨领域少样本学习

CVPRMar, 2024

基于判别示例引导和参数高效的特征空间适应的跨领域少样本学习

Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning

Rashindrie Perera, Saman Halgamuge

TL;DR本文研究跨领域少样本分类，通过引入轻量级参数适配策略和方差感知损失函数来提高模型性能，在 Meta-Dataset 基准测试中，相较于现有方法，准确率分别提高了 7.7% 和 5.3%，且参数效率至少提高 3 倍，达到了新的国际水平。

Abstract

In this paper, we look at cross-domain few-shot classification which presents the challenging task of learning new classes in unseen domains with few labelled examples. Existing methods, though somewhat effective, encounter several limitations, which we address in this work through two

cross-domain few-shot classification adaptation strategy variance-aware loss function meta-dataset benchmark state-of-the-art

发现论文，激发创造

跨域小样本学习的双自适应表示对齐

本文提出了一种基于元学习的双自适应表示对齐方法，针对跨域小样本学习问题，在极少量样本的情况下，通过特征和分布的对齐，实现了更好的泛化能力及更高的成果。

Jun, 2023

通过学习的特征转换实现跨域少样本分类

本文旨在解决度量方法下少样本分类领域差异的问题，使用特征转换层进行数据增强以模拟不同域下的特征分布，并应用 “学习学习” 方法搜索超参数来捕捉不同域下的特征分布变化，实验结果表明该方法适用于不同的度量模型，能够提高少样本分类准确性。

Jan, 2020

多个领域的少样本分类通用表示学习

本文介绍了通过适配器和居中核对齐等方法，利用多个分别训练的网络的知识来同时学习多个领域上通用的深度表示，通过距离学习方法来有效适应之前未见过的领域，并在 Meta-Dataset 基准测试中取得显著的性能提升。

Mar, 2021

具有任务特定适配器的跨域少样本学习

该论文提出了一种直接在少量支持集上学习任务特定权重的方法，通过使用残差连接和矩阵形式的参数适配器，能够显著提高最先进的 Meta-Dataset 基准模型的性能。

Jul, 2021

跨域少样本图分类

本文提出了一种用于跨领域的小样本图分类问题的基于注意力机制的图编码器，使用三个具有相同结构但不同功能的图像来学习任务特定的信息表示以达到快速适应的目的，实验结果表明，该编码器结合度量学习元学习框架时，可以在所有基准测试中实现最佳的平均元测试分类准确性。

Jan, 2022

基于聚类的归纳式无监督领域自适应在几类问题中的应用

本文介绍了一种通过聚类来提高 Few-shot 分类领域适应性的归纳框架 DaFeC，其独特之处在于不需要全面访问测试数据，而是通过构建表示提取器并结合聚类矿工来得到伪标记数据，并通过聚类升级机制来实现更好的目标领域特征，从而提高分类准确性。在 FewRel 2.0 数据集上的实验表明，本文所提出的方法优于之前的研究。

Jun, 2020

多域表示下的几分类问题中有关特征的选择

本篇论文提出了一种基于特征选择的新策略，可以更加简单和有效地应对 few-shot 分类问题。该方法首先训练多个具有不同语义的特征提取器，然后根据特定任务的需求自动选择最相关的特征表示，并在此基础上构建简单的非参数分类器，可以在 MetaDataset 数据集上实现最新的结果及 mini-ImageNet 上实现进一步准确度的提高

Mar, 2020

跨领域针对小样本分类的优化通用特征学习

本文提出使用跨领域，跨任务数据作为超参数优化（HPO）的验证目标，通过搜索超参数的方案来学习泛化模型或特征，通过在几个领域内和领域间的少样本图像分类实验表明提出的策略在学习特征方面具有优势。

Jan, 2020

调适先于比较：跨域少样本分割的新视角

面对与训练领域不同的图像时，少样本分割性能大幅下降，这限制了其在现实世界的应用。本研究通过在传统的分类预训练骨干网络的特征金字塔中附加小型网络实现测试时任务自适应，避免过拟合到有监督微调中的少量标记样本，同时在不使用测试时的其他图像的限制下，在交叉领域少样本分割中取得了新的最先进性能，证明了在这个任务中重新思考方法的必要性。

Feb, 2024

跨层蒸馏和特征去噪用于跨领域少样本分类

我们通过在训练阶段让目标领域中的一小部分无标签图像可访问，解决基于跨域 few-shot 分类的问题，同时通过指导网络的浅层学习更高级别的信息的跨层级知识蒸馏方法提取更有区分度的特征，以及通过特征去噪操作减少特征冗余并减轻过拟合，我们的方法在 BSCD-FSL 基准测试中平均超过了先前的最优方法 Dynamic-Distillation 在 1-shot 和 5-shot 分类任务上分别提升了 5.44% 和 1.37%。

Nov, 2023