Nov, 2023

跨层蒸馏和特征去噪用于跨领域少样本分类

PDF
TL;DR我们通过在训练阶段让目标领域中的一小部分无标签图像可访问，解决基于跨域 few-shot 分类的问题，同时通过指导网络的浅层学习更高级别的信息的跨层级知识蒸馏方法提取更有区分度的特征，以及通过特征去噪操作减少特征冗余并减轻过拟合，我们的方法在 BSCD-FSL 基准测试中平均超过了先前的最优方法 Dynamic-Distillation 在 1-shot 和 5-shot 分类任务上分别提升了 5.44% 和 1.37%。
发现论文，激发创造
  • 动态蒸馏网络用于跨域少样本识别及无标签数据

    本研究针对跨域 few-shot 识别存在的问题，提出了一种动态蒸馏方法来实现无标注的图像分类，并通过弱强增强版本的预测结果进行匹配，使得网络可以轻松地适应目标域，达到 4.4% 的 1-shot 和 3.6% 的 5-shot 分类性能提升。

    Jun, 2021

  • Meta-FDMixup: 基于有标注目标数据的跨领域少样本学习

    本文提出了一种新的元 - 混合网络，提出了利用少量标记目标数据来指导模型学习的想法，通过重新提出并将混合模块集成到元学习机制中，以及通过提出新的解缠模块和域分类器来提取解缠的领域无关和领域特定特征的方法，实现了缩小域差距的目的，从而使模型能够很好地推广到目标数据集。

    Jul, 2021

  • 跨域少样本学习的深入研究

    本文提出了跨域 few-shot 学习的 Broader Study of Cross-Domain Few-Shot Learning （BSCD-FSL）基准，并对该基准的广泛实验表明了目前最先进的元学习方法被早期的元学习方法意外地超越，同时发现所有方法的准确性倾向于与数据集的相似性相关，这验证了该基准的价值，可指导未来的研究方向。

    Dec, 2019

  • 基于判别示例引导和参数高效的特征空间适应的跨领域少样本学习

    本文研究跨领域少样本分类，通过引入轻量级参数适配策略和方差感知损失函数来提高模型性能，在 Meta-Dataset 基准测试中，相较于现有方法，准确率分别提高了 7.7% 和 5.3%，且参数效率至少提高 3 倍，达到了新的国际水平。

    Mar, 2024

  • 通过对抗任务增强的跨领域少样本分类

    针对 few-shot 分类在训练和测试分布之间的域变化导致在测试上性能下降的问题，提出了通过任务增强来改善归纳偏置的鲁棒性，具体来说，采用对抗任务增强方法来生成具有挑战性的任务，可以提供简单的即插即用模块来提高元学习模型在跨域通用性中的性能。

    Apr, 2021

  • 自监督蒸馏的两阶段跨领域文本分类框架

    本文提出了一种二阶段跨域文本分类的框架，使用掩蔽语言模型和标记数据从源域进行模型微调，然后使用自监督蒸馏和目标域的无标注数据进一步微调模型，实验结果表明我们的方法在单源域（94.17％ ↑1.03％）和多源域（95.09％ ↑1.34％）适应都达到了最新的最先进水平。

    Apr, 2023

  • 通过学习的特征转换实现跨域少样本分类

    本文旨在解决度量方法下少样本分类领域差异的问题，使用特征转换层进行数据增强以模拟不同域下的特征分布，并应用 “学习学习” 方法搜索超参数来捕捉不同域下的特征分布变化，实验结果表明该方法适用于不同的度量模型，能够提高少样本分类准确性。

    Jan, 2020

  • 跨领域少样本学习视频的 CDFSL-V 模型

    提出了一种新颖的跨领域少样本视频动作识别方法，利用自监督学习和课程学习平衡源领域和目标领域的信息以解决多样性之间的挑战。在几个具有挑战性的基准数据集上评估并展示了该方法优于现有的跨领域少样本学习技术。

    Sep, 2023

  • 跨领域少样本高光谱图像分类的多视图关系学习

    本文提出了一种基于多视角关系学习的跨域少样本高光谱图像分类方法，通过学习样本之间的关系来改善跨域少样本高光谱图像分类，并结合对比学习和基于 Transformer 的跨注意力学习模块来获得更可区分的样本特征。实验证明，与现有方法相比，多视角关系学习机制对于少样本高光谱图像分类的贡献显著。

    Nov, 2023

  • 调适先于比较：跨域少样本分割的新视角

    面对与训练领域不同的图像时，少样本分割性能大幅下降，这限制了其在现实世界的应用。本研究通过在传统的分类预训练骨干网络的特征金字塔中附加小型网络实现测试时任务自适应，避免过拟合到有监督微调中的少量标记样本，同时在不使用测试时的其他图像的限制下，在交叉领域少样本分割中取得了新的最先进性能，证明了在这个任务中重新思考方法的必要性。

    Feb, 2024