本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

Aug, 2019

本文介绍协作学习的概念，利用多个网络的分类器头同时在相同的训练数据上进行训练，实现多任务学习和知识蒸馏，并展示其在 CIFAR 和 ImageNet 数据集上的实验证明了协作学习显著降低了泛化误差并增加了对标签噪声的抗干扰能力。两个重要机制：多头分类器共识提供补充信息和共享中间级别表示，既减少了训练计算复杂度，又促进了对共享层的监督。

May, 2018

本文提出了一种新的卷积神经网络合并方法，在共享权重的基础上，将训练好的两个具有不同架构的网络在推断阶段融合为一个统一的模型，以适应资源有限的设备，实验结果表明此方法有效。

May, 2018

本文提出一种正式的框架，介绍了衡量概率和合作信息传递有效性的新指标，证明了能够实现最佳合作推理的条件，并展示了这些原则如何指导机器学习算法的设计以及对人类和机器学习的影响。

May, 2017

本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的实验表明，这种方法能够在参数规模几乎是教师网络的十分之一的条件下，取得比教师网络更好的性能。

Dec, 2014

本研究提出了一种基于特征融合的学习框架，并通过在线知识蒸馏的方式，让不同子网络分类器之间相互教学，提高融合分类器和每个子网络的性能，多项数据集实验证明了该方法在预测准确性方面的有效性。

Apr, 2019

通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

Dec, 2023

本研究提出了一种嵌入知识蒸馏机制的深度级联动态神经网络 (DDNN)，通过 Kullback-Leibler 散度和自注意力蒸馏在在线知识蒸馏中获得多个高精度子网络，以提高子网络的泛化能力，从而在 CIFAR-10/100 和 ImageNet 数据集上实现了 better performance than individually training networks while preserving the original performance of full-nets。

Mar, 2021

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

May, 2022