本文介绍协作学习的概念，利用多个网络的分类器头同时在相同的训练数据上进行训练，实现多任务学习和知识蒸馏，并展示其在 CIFAR 和 ImageNet 数据集上的实验证明了协作学习显著降低了泛化误差并增加了对标签噪声的抗干扰能力。两个重要机制：多头分类器共识提供补充信息和共享中间级别表示，既减少了训练计算复杂度，又促进了对共享层的监督。

May, 2018

本研究使用深度协同学习（DCL）方法，将卷积层分解成两个小的卷积层，然后将它们在每个空间位置处融合，以减少计算复杂度和模型复杂度，同时提高在各种视觉识别任务中的准确性，减少模型参数 (在 AlexNet 中减少 16.82%)。

Mar, 2017

通过结合多层和多尺度的特征，利用深度卷积神经网络来提高图像分类器的领域泛化能力，并提出了一种新颖的目标函数，使用对比学习的方法约束提取的特征在分布转移下保持不变，实验证明该方法在多个数据集上均表现出与之前方法相比更好的性能。

Aug, 2023

本文介绍一种名为 Contrastive Deep Supervision 的新型训练框架，该框架使用基于 augmentation 的对比学习来监督中间层，从而在多种深度学习任务上取得了显著的效果。

Jul, 2022

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

本文探讨了全连接前馈神经网络中隐藏节点的激活模式，提出了从两个信息处理系统，即连续性和离散性的角度来看待这种网络分类能力的新方式，并且重点突出了这两者搭配的重要性，为深度学习中神经网络的泛化能力提供了新的思路。

Jan, 2020

采用一层隐含层的浅层有监督神经网络，依次构建层级式深度网络，使用一些简单的架构和训练技巧，能够在 ImageNet 数据集上表现优于 AlexNet，并且建立 2 或 3 个隐含层的辅助问题，可构建超过 VGG 模型家族的 11 层网络，且训练精度能够达到端到端学习的水平。

Dec, 2018

本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法，其中关键的想法在于高斯耦合 softmax 层，该层可以嵌入神经网络分类器中，允许分类器估计类的后验分布和类条件数据分布，而且该混合模型适用于半监督学习和置信度校准。

May, 2023

本文介绍了一种使用无标签数据训练卷积网络的方法，该方法可用于通用特征学习，通过应用多种变换来区分一组代理类别，获得了比监督学习更具鲁棒性的特征表示，能在几个流行数据集上取得胜于现有结果的分类效果。

Jun, 2014