针对特定领域的批量归一化在无监督领域适应中的应用
通过仅操作 BN 层以减少学习干扰和提高域知识学习,结合自我监督学习提供监督,以及使用元学习强制辅助分支与主分支目标对齐的双层优化,我们的方法在五个真实领域转移数据集上优于其他方法。
Dec, 2023
本文提出了一种称为自适应批量归一化(AdaBN)的方法来提高深度神经网络的泛化能力,无需额外组件或参数,并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。
Mar, 2016
本文提出了一种名为动态无监督适应 (Dynamic Unsupervised Adaptation) 的方法,通过持续适应批规范化层的统计数据,可以在只有一小部分无标签数据的情况下,对一个已经训练好的模型进行继续适应,并取得与强基线相当的性能表现,尤其适应于具有数据稀缺或需要不断适应的情况,例如在困难的天气条件下的自动驾驶对象识别任务。
Dec, 2021
本研究提出了利用深度神经网络的多源域泛化技术,通过引入特定于各个领域的优化归一化层。在每个域中,根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化,以确定这两种归一化方法的最佳组合,优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率,同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。
Jul, 2019
我们提出了一种利用预训练模型中的批量归一化统计信息来逼近未观测源数据分布的新颖域自适应方法,并在多个基准数据集上验证了其在无法访问源数据的情况下具有竞争性的分类性能。
Jan, 2021
本文提出一种新颖的无监督归一化层自适应方法 (Unsupervised BatchNorm Adaptation, UBNA),该方法通过部分适应归一化层统计来将给定的预训练模型适应到看不见的目标领域,无需使用来自源领域的任何表示 (既没有数据也没有网络),并且可以以在线方式或者在使用目标领域中的少量未标记图像的情况下,以几次样本的方式进行。通过评估利用标准的无监督领域适应基准的语义分割,我们展示了这比没有适应和使用仅从目标域中获得的统计数据的基线方法优越,并且与标准的无监督领域适应方法相比,我们报告了性能和使用源领域表示之间的权衡。
Nov, 2020
本论文提出了一种新的深度架构领域适应方法,可通过大量源域标记数据和大量目标域未标记数据的训练而实现。在提出的方法中,深层特征在源域的主要学习任务上是有区分性的,而且对于域之间的变化具有不变性。而通过增加几个标准层和简单的梯度反转层的方法可以实现该适应行为,并且此方法在图像分类实验中表现非常出色。
Sep, 2014
该论文提出了一种名为 Deep Transfer Network 的领域适应框架,其中高度灵活的深度神经网络用于实现分布匹配过程,在分类准确性和执行时间等方面取得了显著的改进。
Mar, 2015