预训练网络的少样本领域适应

IJCAIMay, 2022

Few-Shot Adaptation of Pre-Trained Networks for Domain Shift

Wenyu Zhang, Li Shen, Wanyue Zhang, Chuan-Sheng Foo

TL;DR提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

Abstract

Deep networks are prone to performance degradation when there is a domain shift between the source (training) data and target (test) data. Recent test-time adaptation methods update batch normalization layers of pre-trained source models deployed in new target environments with streami

domain shift test-time adaptation few-shot domain adaptation feature normalization statistics cross-domain classification

发现论文，激发创造

调适先于比较：跨域少样本分割的新视角

面对与训练领域不同的图像时，少样本分割性能大幅下降，这限制了其在现实世界的应用。本研究通过在传统的分类预训练骨干网络的特征金字塔中附加小型网络实现测试时任务自适应，避免过拟合到有监督微调中的少量标记样本，同时在不使用测试时的其他图像的限制下，在交叉领域少样本分割中取得了新的最先进性能，证明了在这个任务中重新思考方法的必要性。

Feb, 2024

选择适应：少样本领域适应的支持集选择

深度神经网络广义化在训练（源）数据和测试（目标）数据之间遇到分布偏移时容易受到攻击。本文探讨了通过使用从目标领域中随机选择和注释的支持集，将在源领域上预训练的深度神经网络适应到目标领域时随机选择支持集可以进一步进行改善。我们提出了 SelectNAdapt 算法来筛选目标领域样本，并将其注释并纳入支持集。在 K-shot 适应问题中，我们首先利用自监督学习目标领域数据的特征。然后，我们提出了一种基于距离评分函数的目标领域特征的每类聚类方案，并选择 K 个代表性目标样本。最后，我们通过使用伪标签对语义相似目标领域样本进行聚类，将选择设置转移到实际场景中。与相关方法和标准随机选择相比，在三个用于图像识别的少样本领域适应基准测试上，我们的实验结果显示出了很好的效果。

Aug, 2023

通过匹配批归一化统计数据实现无源域自适应的分布对齐

我们提出了一种利用预训练模型中的批量归一化统计信息来逼近未观测源数据分布的新颖域自适应方法，并在多个基准数据集上验证了其在无法访问源数据的情况下具有竞争性的分类性能。

Jan, 2021

通过学习领域感知的批归一化实现测试时域自适应

通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

Dec, 2023

针对特定领域的批量归一化在无监督领域适应中的应用

提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架，其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习，实现了多源领域自适应场景的全面优化。

May, 2019

领域迁移下的聚类学习

本文提出了一种基于无监督域自适应和深度聚类的方法，利用来自多个源域的数据信息建立一个与具体域无关的聚类模型，并通过特征对齐和自我监督实现有效地适应目标域。本文的方法即使在少量目标样本的情况下也能自动发现相关语义信息，并在多个域自适应基准测试中取得了最先进的结果。

Aug, 2020

通过无视偏移的权重正则化和最近源原型来提高测试时间适应能力

本文提出了一种新型的测试时间适应策略，该策略仅使用来自目标域的无标注在线数据，对在源域上预训练的模型进行调整，以减轻源域和目标域之间的分布差异导致的性能下降，并给出了相应的方法和实验结果，证明其在各个标准基准上表现优异，甚至优于其有监督的对应物。

Jul, 2022

少样本对抗性域自适应

采用对抗训练来学习嵌入的子空间，同时最大化两个域之间的混淆并在语义上对齐它们，解决了少量有标签目标数据样本的深度模型的有监督域自适应问题。

Nov, 2017

通过视觉领域提示生成适应分布转变

提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

May, 2024

Few-shot 自适应 Faster R-CNN

提出一种名为 FAFRCNN 的基于源域数据训练的检测器的 few-shot adaptation 方法，通过配对机制和双层模块来实现对目标域中目标检测的准确性提高。

Mar, 2019