ICMLJan, 2022

利用中间表示进行更好的迁移学习：Head2Toe

PDF
TL;DR本文介绍了一种名为 Head-to-Toe probing（Head2Toe）的新型迁移学习方法，在 VTAB-1k 数据集上通过选择源模型所有层的特征进行目标领域的分类，能够在保证模型性能的情况下将训练和存储成本大幅度降低，并且对于分布外迁移，Head2Toe 方法优于微调。
transfer-learninglinear probingfine-tuningmachine learningout-of-distribution transfer
发现论文，激发创造
  • Fine-Tuning 可以扭曲预训练特征且在超出分布时表现不佳

    本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行全微调的策略则能够优化这一问题。

    Feb, 2022

  • 富人借宝：选择性联合微调的深度迁移学习

    本论文提出了一种源目标选择性联合微调方案，通过识别和使用一组特定的训练样本以及联合微调共享卷积层来改善深度学习任务的性能，该方案在多个视觉分类任务中以单一模型获得了最先进的性能。

    Feb, 2017

  • 通过插值正交特征进行样本高效的域适应

    本文提出了一种名为 Pro$^2$ 的轻量、样本高效的方法，通过将预训练嵌入映射到正交方向来学习多样的预测特征，并在小目标数据集上适应目标分布。在多个数据集上的试验表明，与标准线性探测等先前方法相比，Pro$^2$ 提高了 5-15% 的性能。

    Feb, 2023

  • 预训练和微调表示的相似性

    本文研究转移学习中的表示变化，并发现在少样本学习中，在转移学习的早期层次中进行表示变化是有益的，特别是在跨域适应的情况下。同时，我们发现在转移学习的预训练和微调过程中，预训练结构如果不能使用，则不能被学习。

    Jul, 2022

  • 整体式迁移：以部分目标数据进行非干扰微调

    我们提出了一个学习问题，涉及将预先训练的源模型适应到目标领域，用目标数据对仅覆盖部分标签空间的所有类进行分类。我们发现在目标适应数据中保持缺失类的准确性以及提高总体性能是具有挑战性的，并提出了解决方法，包括分离领域梯度和分类梯度，以及保留类之间的关系。通过这些有效的解决方案，我们建立了预训练模型在部分目标数据上的整体转移的坚实基线。

    Nov, 2023

  • 领域感知微调：增强神经网络的适应性

    本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。

    Aug, 2023

  • SpotTune: 自适应微调的迁移学习

    本文提出了一种自适应微调方法 SpotTune，使用策略网络根据目标任务的数据实例来选择微调层或预训练层，实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法，并在 Visual Decathlon 数据集中表现优异。

    Nov, 2018

  • 如何为微调准备您的任务头

    通过分析任务头的选择对特征适应的控制，进而影响下游性能，我们发现精细调节一开始的训练准确度和损失，在初始能量的变化对精调后特征的效果有重大影响，最终证明高能量会增加特征的欧几里得和余弦距离，但点积（和精调后特征的范数）会先增加后下降，并提出了一些实际原则来提高下游性能。

    Feb, 2023

  • 利用探测预测微调性能

    本研究探讨了使用轻量 Probing 方法去解释 NLP 模型内在机制的方法，通过对三项探测测试的准确性精确预测了模型的调优表现，为 NLP 模型的发展提供了可能。

    Oct, 2022

  • 视觉查询调整：实现中间表示的有效使用，以实现参数和内存高效的迁移学习

    介绍了一种简单而有效的方法，“视觉查询调整 (VQT)”，可以聚合视觉变换器的中间特征以用于传输学习，同时保持了中间特征的完整性和内存效率。与其他参数有效的微调方法相比，VQT 在内存限制下获得更高的准确度，并且可以与这些方法兼容以实现更高的准确度。

    Dec, 2022