通过渐进式学习和自适应蒸馏在适配器中利用归一化层进行跨领域少样本学习

AAAIDec, 2023

通过渐进式学习和自适应蒸馏在适配器中利用归一化层进行跨领域少样本学习

Leveraging Normalization Layer in Adapters With Progressive Learning and Adaptive Distillation for Cross-Domain Few-Shot Learning

PDF

Yongjin Yang, Taehyeon Kim, Se-Young Yun

TL;DR我们介绍了一种新的通用框架，利用适配器中的归一化层和渐进学习自适应蒸馏（ProLAD），解决了跨领域少样本学习中的批次统计偏移和噪声样本统计的问题，通过两个不同的适配器和自适应蒸馏技术，我们的方法在标准的跨领域少样本学习基准中表现出超越现有最先进方法的性能。

Abstract

cross-domain few-shot learning presents a formidable challenge, as models must be trained on base classes and then tested on novel classes from various domains with only a few samples at hand. While prior approaches have primarily focused on parameter-efficient methods of using

cross-domain few-shot learning adapters normalization layer progressive learning and adaptive distillation noisy sample statistics

发现论文，激发创造

预训练网络的少样本领域适应

提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

May, 2022

跨领域少样本学习：自适应变换网络

提出了一种自适应变压器网络 (ADAPTER) 作为跨领域少样本学习的简单而有效的解决方案，它建立在双向交叉注意力的思想上，学习两个领域之间的可转移特征，并通过 DINO 训练以避免监督崩溃问题。进一步提出了标签平滑方法来提高嵌入空间中近邻样本的预测一致性和可靠性。在 BSCD-FSL 基准测试中，ADAPTER 的性能得到了严格评估，表现优于以往的方法。

Jan, 2024

学习优化针对特定领域的归一化以实现领域泛化

本研究提出了利用深度神经网络的多源域泛化技术，通过引入特定于各个领域的优化归一化层。在每个域中，根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化，以确定这两种归一化方法的最佳组合，优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率，同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。

Jul, 2019

针对特定领域的批量归一化在无监督领域适应中的应用

提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架，其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习，实现了多源领域自适应场景的全面优化。

May, 2019

UDApter - 使用 Adapter 的高效域适应

通过在大规模预训练语言模型中插入小的瓶颈层，我们提出了两种无监督领域自适应更加参数高效的方法，通过实验表明，我们的简单方法在自然语言推理和跨领域情感分类任务中性能良好。

Feb, 2023

领域自适应少样本学习

本文提出一种新的面向领域自适应少样本学习（DA-FSL）的解决方案，即基于领域对抗性原型网络（DAPN），该模型通过显式增强源 / 目标每类别的区分性在域自适应特征嵌入学习之前，以实现全局领域分布对齐，同时保持源 / 目标每类别的差异性从而提高 FSL 的性能。实验表明，DAPN 模型优于现有的 FSL 和 DA 模型及其简单组合。

Mar, 2020

领域适配器混合模型：从预训练语言模型中解耦和注入领域知识

本文介绍了一种基于预训练语言模型和适应领域的新型领域自适应方法，通过两个阶段的适配器调整策略（在无标签数据上先进行领域适配器调整，然后进行标签数据上的任务适配器调整），可以同时提高在特定领域、跨领域和知识密集型任务中的性能。

Jun, 2023

实用域自适应的 Batch Normalization 重新审视

本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

Mar, 2016

利用蒸馏调整模型以适应信号退化

本文研究了如何通过计算机图形渲染技术生成合成数据来进行知识蒸馏和领域适应，从而提高低分辨率图像、非定位对象和线条绘图等领域的识别性能，并通过可视化方法解释该技术的工作原理及其与现有文献的关联。

Apr, 2016

跨层蒸馏和特征去噪用于跨领域少样本分类

我们通过在训练阶段让目标领域中的一小部分无标签图像可访问，解决基于跨域 few-shot 分类的问题，同时通过指导网络的浅层学习更高级别的信息的跨层级知识蒸馏方法提取更有区分度的特征，以及通过特征去噪操作减少特征冗余并减轻过拟合，我们的方法在 BSCD-FSL 基准测试中平均超过了先前的最优方法 Dynamic-Distillation 在 1-shot 和 5-shot 分类任务上分别提升了 5.44% 和 1.37%。

Nov, 2023