Oct, 2023

少即是多：预训练模型在少样本任务中的特征冗余

PDF
TL;DR使用预训练模型进行线性探测，当下游数据稀缺或少样本时，预训练特征可能是非常冗余的；而在少样本任务中，只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析，高方差和类中心之间距离较小的特征维度可能是影响少样本转移问题分类结果的混淆因素。通过调整特征重要性的软掩码来改善特征冗余问题，可以在各种预训练模型和下游数据集中提高少样本转移性能。
发现论文，激发创造
  • 预训练表示中的扩散冗余

    研究表明，在预先训练的神经网络中，一个给定层中的许多神经元之间存在一定程度的冗余，因此可能不需要整个层来执行下游任务，这为提高下游任务的效率和减少数据成本提供了可能。

    May, 2023

  • 通过微观偏差 - 方差分析理解最佳特征转移

    在转移学习范式下，该研究探索了使用预训练特征转换来优化下游性能的简单线性模型，并发现了通过最小化沿着一组下游任务的平均渐近下游风险来确定最佳预先训练表示的相对重要性以及从偏差 - 方差角度对它们的贡献的特征和结构的学习。

    Apr, 2024

  • 分析预训练 Transformer 模型中的冗余

    本文旨在研究 Deep NLP 的 Transformer 模型中的冗余性，并从两个角度对 BERT 和 XLNet 这两个流行预训练模型进行了分析。在这篇论文中，我们提出了一个特征转移学习的方法，可以在只使用原始的 10％神经元的情况下，保持 97％的性能表现。

    Apr, 2020

  • 最大化骨干特征分布以实现高效的少样本学习

    本文提出了一种新颖的基于迁移学习的方法，旨在处理特征向量使其更接近高斯分布，加大分类准确性。同时，在具备未标注测试样本的传导式 few-shot 学习中，也提出了基于最优传输启示的算法以进一步提高性能。经过标准化的视觉基准测试，研究发现该方法可以在各种数据集、主干架构和少样本的情况下获得最先进的精度。

    Oct, 2021

  • 基于特征分布的迁移学习少样本学习方法

    本文提出了一种新颖的基于转移学习的方法，通过预处理特征向量使其更接近高斯分布，并利用基于最优输运的算法 (在普遍情况下) 加以利用，证明了该方法在各种数据集、主干体系结构和少样本情形下达到最先进的准确性。

    Jun, 2020

  • 少即少：使用更少基分类学习更好的少样本问题

    本文研究了在训练数据稀缺的情况下，通过在较少的基础类别上进行微调，以改善少样本学习，探索了提取目标数据集更好特征的可能性，并提供了可在任何少样本解决方案中实施的简单且直观的方法。

    Jan, 2024

  • 探究深度表示的可迁移性

    该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。

    Sep, 2019

  • 大规模预训练分类器任务可转移性分析

    本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

    Jul, 2023

  • 没有指数数据就没有 “零样本”：预训练概念频率决定多模态模型性能

    多模态模型的 “零样本” 泛化能力在大规模训练范式下面临指数级的数据需求，其性能受预训练数据集中概念频率的影响，并对长尾数据表现较差。

    Apr, 2024

  • 重新思考有监督的预训练，以实现更好的下游转移

    该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

    Oct, 2021