本文提出了一种任务无关的预训练方法，使得图神经网络（GNNs）可以学习最先进的图内核函数所引发的表示，并在监督学习阶段对任务进行微调，该技术对采用的 GNNs 体系结构和内核函数是不可知的，并且在预实验结果中表现出了启示性的提高表现
Nov, 2018
通过群论的视角，研究了深度学习中的表示问题，发现预训练实际上是在寻找具有最小轨道的特征，从而解释了为什么深度学习网络会先学习一些简单的特征，并阐述了为什么随着层数的增加，表示的复杂度逐渐增高。
Apr, 2015
本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。
Nov, 2022
我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。
Jun, 2024
通过在训练过程中，在某些中间层之后添加辅助监督分支，形成深度监督结构，其训练更容易，且在 ImageNet 和较大的 MIT Places 数据集上获得更好的分类效果。
May, 2015
该论文提出了一种新颖的信息化机器学习方法，建议在先前的知识上进行预训练，这可以加快学习过程，提高泛化能力，增加模型的鲁棒性，并且可以将语义知识转移至深层次特征。
May, 2022
本文解释了预训练神经网络成功的原因，通过实验观察到预训练可以在神经网络中引入隐藏单元活性的稀疏性，从而得到更好的预测性能。
Dec, 2013
本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。
May, 2016
本文介绍一种名为 Contrastive Deep Supervision 的新型训练框架，该框架使用基于 augmentation 的对比学习来监督中间层，从而在多种深度学习任务上取得了显著的效果。
Jul, 2022
通过实验证明，神经网络的最后一个权重层收敛于最后一个隐藏层的线性 SVM，整个神经网络的训练会获得更好的偏移常量，从而有助于理解深度学习并解决实际问题。
Aug, 2018