Oct, 2020

更好的损失函数为何会导致特征较差的迁移性？

PDF
TL;DR本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。
发现论文，激发创造
  • 神经网络中的偏见解释：探究表征相似性

    研究了使用不同目标函数，基于卷积神经网络（如 ResNets）训练偏重数据集的性能和内部表征结构，表明负对数似然（NLL）和 softmax 交叉熵（SCE）作为损失函数得到的 ResNets 表征同样能够在偏重数据上产生更好的性能和细致替代，并且在神经网络的各层之间具有渐进表征相似性，性能更有可能是稳健的。

    Nov, 2022

  • 深度神经网络中的特征可转移性如何？

    本论文研究了深度神经网络中神经元的广泛性与特定性，发现转移特征会受到特化高层神经元和合作适应神经元之间优化困难性的限制，转移特征的适用性随着目标任务与基础任务的差距而降低，但即使从远任务中转移特征，也比使用随机特征好，从几乎任意数量的层中初始化网络都可以提高广义化的效果，即使经过微调后能够持续。

    Nov, 2014

  • 探究深度表示的可迁移性

    该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。

    Sep, 2019

  • ImageNet 模型的表现是否与迁移学习相关？

    比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

    May, 2018

  • 通用卷积神经网络表示的可转移因素

    本文研究卷积神经网络的迁移学习，在多个视觉识别任务上通过优化训练参数和特征提取参数达到了显著提高。同时提出了根据任务与源任务的距离将视觉识别任务进行分类的方法。

    Jun, 2014

  • 深度度量学习的不同损失函数是否导致相似的学习特征？

    本文研究深度度量学习中的损失函数对于网络关注图像相似区域或特征的影响，并采用两步分析方法提取不同模型架构在不同损失函数下的学习视觉特征，结果表明，不同损失函数会引导模型学习不同的特征，分类型和排名型的损失函数存在差异，而某些似乎不相关的图像特征对最终嵌入结果也具有显著影响。

    May, 2022

  • 预训练和微调表示的相似性

    本文研究转移学习中的表示变化，并发现在少样本学习中，在转移学习的早期层次中进行表示变化是有益的，特别是在跨域适应的情况下。同时，我们发现在转移学习的预训练和微调过程中，预训练结构如果不能使用，则不能被学习。

    Jul, 2022

  • 对比学习视觉表示的可转移性广泛研究

    本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。

    Mar, 2021

  • 强化区分度的损失函数以提高表示学习

    通过引入 Gini impurity 所启发的新损失项和最小化两个高级特征分布之间的 Kullback-Leibler 散度，我们在两个图像分类数据集上进行了实验，并得出结论，将我们的新损失项集成到训练目标中始终优于仅使用交叉熵训练的模型，在不增加推理时间的情况下。

    Feb, 2022

  • 目标很重要：理解自监督目标对视觉 Transformer 表示的影响

    本研究分析了视觉变压器自监督学习的两种主要范式，在结构和可转移性方面的影响差异，揭示了联合嵌入特征在分类线性探针传输方面表现更好的原因。

    Apr, 2023