Jul, 2020

CrossTransformers: 空间感知的少样本迁移

PDF
TL;DR本文研究了现代视觉系统的表现下降原因：监督学习时神经网络模型表示出现了监督崩溃现象，即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题：一是利用自监视学习以鼓励更通用的特征，二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers，可以用少量标记图像和无标记查询项，找到查询项与标记图像之间的粗略空间对应关系，从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器，证明了在 Meta-Dataset 上的最新成果。
neural networksupervision collapseself-supervised learningcrosstransformerstransfer learning
发现论文，激发创造
  • 通过学习的特征转换实现跨域少样本分类

    本文旨在解决度量方法下少样本分类领域差异的问题，使用特征转换层进行数据增强以模拟不同域下的特征分布，并应用 “学习学习” 方法搜索超参数来捕捉不同域下的特征分布变化，实验结果表明该方法适用于不同的度量模型，能够提高少样本分类准确性。

    Jan, 2020

  • TransMatch: 半监督少样本学习的迁移学习方案

    本文提出了一种新的半监督少样本学习的转移学习框架，用于充分利用标记基础分类数据和未标记新类数据的辅助信息，并基于该框架开发了一种称为 TransMatch 的新方法，通过 Imprinting 和 MixMatch 实例化三个组件，实验结果表明，该方法可以显著提高少样本学习任务的准确度。

    Dec, 2019

  • 跨领域少样本学习：自适应变换网络

    提出了一种自适应变压器网络 (ADAPTER) 作为跨领域少样本学习的简单而有效的解决方案，它建立在双向交叉注意力的思想上，学习两个领域之间的可转移特征，并通过 DINO 训练以避免监督崩溃问题。进一步提出了标签平滑方法来提高嵌入空间中近邻样本的预测一致性和可靠性。在 BSCD-FSL 基准测试中，ADAPTER 的性能得到了严格评估，表现优于以往的方法。

    Jan, 2024

  • Context-Transformer: 解决 Few-Shot 检测中的目标混淆问题

    针对少样本目标检测的问题，我们提出了一种基于 Context-Transformer 的深度迁移学习方法，该方法可以巧妙地利用源域目标知识，从少量样本中自动利用上下文信息以提高检测器的区分能力，并在 popular SSD-style 检测器中灵活嵌入，从而成为端到端少样本学习的即插即用模块。实验结果表明，我们的框架优于最新的 state-of-the-art 方法。

    Mar, 2020

  • 跨越极端任务差异的少样本迁移自训练

    本文介绍了一种解决领域差异的简单有效方法：在目标域的未标记数据上进行基于自我训练的源域表示法预训练，从而改善在目标任务上的一次性性能。在 BSCD-FSL 基准测试中，本方法使目标域的一次性性能平均提高了 2.9 点。

    Oct, 2020

  • 基于任务内互注意力的视觉 Transformer 模型用于少样本学习

    基于 Vision Transformer (ViT) 架构，本文提出了一种用于少样本学习的任务内互注意方法，通过交换支持集和查询集的类别标记与图像片段标记，实现了互注意，从而加强了类内表征，并促进了同一类别样本之间的相似性。与最先进的基准方法相比，在五个常见的少样本分类基准任务中，本文提出的框架在 5-shot 和 1-shot 情况下表现出的性能更好，同时具有简单、高效的计算能力。

    May, 2024

  • 稀疏上下文变换的小样本目标检测

    本文介绍了一种利用稀疏上下文变换器（SCT）的新方法，在目标域仅有少量训练图像的情况下，有效地利用源域的物体知识，并自动从目标域中学习稀疏上下文，通过结合不同相关线索来增强学习检测器的区分能力并降低类别混淆。两个具有挑战性的少样本目标检测基准测试结果表明，该方法与相关最新技术相比具有竞争性能。

    Feb, 2024

  • 自监督原型转移学习用于少样本分类

    本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

    Jun, 2020

  • 跨域和跨任务的同时深度迁移

    本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

    Oct, 2015

  • 跨任务和领域传递良好特征的学习

    本文提出一种基于知识迁移和神经网络的方法，使得在新领域中，能够在有限或无额外监督的情况下利用特定领域中已学知识解决新任务，并且在特征空间约束和映射网络方面提出了一些策略，从而在合成到真实的语境下，利用单目深度估计和语义分割任务之间的知识迁移，获取了令人满意的结果。

    Jan, 2023