迈向更好的准确性和效率平衡：分而协同训练

Nov, 2020

迈向更好的准确性和效率平衡：分而协同训练

Towards Better Accuracy-efficiency Trade-offs: Divide and Co-training

Shuai Zhao, Liguang Zhou, Wenxiao Wang, Deng Cai, Tin Lun Lam...

TL;DR通过将大型神经网络分解成多个小型网络，并通过共同训练和学习来提高网络的多样性，小型网络可以在不增加参数和 FLOPs 的情况下实现更好的集成性能和更快的推理速度。我们在八个不同的神经结构和常见基准测试中验证了该论点，代码可在 https://github.com/FreeformRobotics/Divide-and-Co-training 中获得。

Abstract

The width of a neural network matters since increasing the width will necessarily increase the model capacity. However, the performance of a network does not improve linearly with the width and soon gets saturated. In this case, we argue that increasing the number of networks (ensemble

neural network width ensemble accuracy-efficiency trade-offs small networks co-training

发现论文，激发创造

在固定的内存预算下进行深度集成：一种宽网络或多个较窄的网络？

该研究考虑在固定内存预算设置下，在训练单个宽网络或训练一组细网络之间，性能哪种更有效。研究发现，对于足够大的预算，采用内存分割，即训练一组较薄的网络，通常比训练单个宽网络更为有效。该发现被称为 “内存分割优势”，适用于各种数据集和模型架构。

May, 2020

拥有相同的参数时更宽的网络是否更好？

通过保持参数数量不变增加模型宽度来探究神经网络性能的影响，结论是网络宽度与模型性能作用显著，而参数数量虽不可忽视，但其次要性要保证可训练性，同时我们在高斯过程核的框架下分析这些模型并发现模型初始点有限宽度核与无限宽度核之间的距离对于模型性能的预示作用。

Oct, 2020

特征学习网络在现实规模下的宽度一致性

研究神经网络的宽度对特征学习动态的影响，探究网络结构，内部表示，预激活分布，稳定现象的一致性，以及相应的有限宽度偏差和频谱视角。

May, 2023

更宽的网络学习更好的特征

研究发现，对于新任务的神经网络，学习特征的可转移性可以大幅减少训练成本；通过使用激活图谱技术研究网络宽度对学习特征的影响，并表明增加网络宽度可以显著提高针对新任务的性能表现。

Sep, 2019

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018

为何多个网络头胜过单独一个：训练深度神经网络的多样集成

本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

Nov, 2015

EfficientNet: 重新思考卷积神经网络的模型缩放

本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

May, 2019

可压缩神经网络

本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

Dec, 2018

快速准确的模型缩放

本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

Mar, 2021

拓宽广度而非纵深

本文提出了一种宽架构、混合专家 (MoE) 替代前馈神经网络 (FFN) 的参数高效框架，通过参数共享以压缩深度，并使用独立的 layernorms 来转换各种语义表示，实验结果在多个计算机视觉和自然语言处理基准测试中表现优异，最佳模型能以 0.72 倍的可训练参数超越 Vision Transformer 1.5％、超越 ALBERT 1.8％平均表现和使用分解嵌入参数化的 BERT 0.8％。

Jul, 2021