Jan, 2024

跨领域少样本学习：自适应变换网络

PDF
TL;DR提出了一种自适应变压器网络 (ADAPTER) 作为跨领域少样本学习的简单而有效的解决方案，它建立在双向交叉注意力的思想上，学习两个领域之间的可转移特征，并通过 DINO 训练以避免监督崩溃问题。进一步提出了标签平滑方法来提高嵌入空间中近邻样本的预测一致性和可靠性。在 BSCD-FSL 基准测试中，ADAPTER 的性能得到了严格评估，表现优于以往的方法。
few-shot learningadaptive transformer networkcross-domainbidirectional cross-attentionlabel smoothing
发现论文，激发创造
  • 具有任务特定适配器的跨域少样本学习

    该论文提出了一种直接在少量支持集上学习任务特定权重的方法，通过使用残差连接和矩阵形式的参数适配器，能够显著提高最先进的 Meta-Dataset 基准模型的性能。

    Jul, 2021

  • CrossTransformers: 空间感知的少样本迁移

    本文研究了现代视觉系统的表现下降原因：监督学习时神经网络模型表示出现了监督崩溃现象，即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题：一是利用自监视学习以鼓励更通用的特征，二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers，可以用少量标记图像和无标记查询项，找到查询项与标记图像之间的粗略空间对应关系，从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器，证明了在 Meta-Dataset 上的最新成果。

    Jul, 2020

  • 基于表示学习和领域自适应的跨领域少样本关系抽取

    该论文介绍了一种结合少样本学习和领域适应思想的方法，使用表示损失和对抗损失来提取源域和目标域中的句子关系，从而解决跨域少样本关系抽取问题，并在 FewRel 数据集上证明了其优越性。

    Dec, 2022

  • 增强跨域检测：自适应分类感知对比变换器

    我们提出了一种新颖的基于对抗学习和 mean-teacher 框架的类感知跨域检测变换器，通过引入 IoU 感知预测分支、动态类别阈值细化和实例级类感知对比学习模块来解决跨域适应中的标签不足、类不平衡和模型性能下降的问题。实验证明，我们的方法在改善性能和减轻类别不平衡问题方面效果显著优于现有的基于变换器的方法。

    Jan, 2024

  • 少样本对抗性域自适应

    采用对抗训练来学习嵌入的子空间，同时最大化两个域之间的混淆并在语义上对齐它们，解决了少量有标签目标数据样本的深度模型的有监督域自适应问题。

    Nov, 2017

  • 跨域小样本学习的双自适应表示对齐

    本文提出了一种基于元学习的双自适应表示对齐方法，针对跨域小样本学习问题，在极少量样本的情况下，通过特征和分布的对齐，实现了更好的泛化能力及更高的成果。

    Jun, 2023

  • 通过渐进式学习和自适应蒸馏在适配器中利用归一化层进行跨领域少样本学习

    我们介绍了一种新的通用框架，利用适配器中的归一化层和渐进学习自适应蒸馏（ProLAD），解决了跨领域少样本学习中的批次统计偏移和噪声样本统计的问题，通过两个不同的适配器和自适应蒸馏技术，我们的方法在标准的跨领域少样本学习基准中表现出超越现有最先进方法的性能。

    Dec, 2023

  • 通过对抗任务增强的跨领域少样本分类

    针对 few-shot 分类在训练和测试分布之间的域变化导致在测试上性能下降的问题，提出了通过任务增强来改善归纳偏置的鲁棒性，具体来说，采用对抗任务增强方法来生成具有挑战性的任务，可以提供简单的即插即用模块来提高元学习模型在跨域通用性中的性能。

    Apr, 2021

  • 预训练网络的少样本领域适应

    提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

    May, 2022

  • 领域自适应少样本学习

    本文提出一种新的面向领域自适应少样本学习（DA-FSL）的解决方案，即基于领域对抗性原型网络（DAPN），该模型通过显式增强源 / 目标每类别的区分性在域自适应特征嵌入学习之前，以实现全局领域分布对齐，同时保持源 / 目标每类别的差异性从而提高 FSL 的性能。实验表明，DAPN 模型优于现有的 FSL 和 DA 模型及其简单组合。

    Mar, 2020