Apr, 2017

快照集成: 1 次训练，多个模型

PDF
TL;DR本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。
neural networksmodel averagingsnapshot ensemblingcyclic learning rate scheduleserror rates
发现论文，激发创造
  • MotherNets: 快速深度集成学习

    该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

    Sep, 2018

  • 从单个训练过程中的检查点集成：集成方法

    本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

    Oct, 2017

  • 为何多个网络头胜过单独一个：训练深度神经网络的多样集成

    本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

    Nov, 2015

  • BatchEnsemble: 一种高效集成和终身学习的替代方法

    本文提出了一种名为 BatchEnsemble 的集成方法，其计算和内存成本比典型集成方法低得多，可以在多个设备上并行计算，具有较高的准确性和良好的不确定性，适用于终身学习任务。

    Feb, 2020

  • 通过轨迹抽样进行神经网络集成的小批量训练

    本篇论文探讨了使用小批量（minibatches）方法训练神经网络集合（NNEs）的高效方式，并在 MNIST 数据集上验证其可行性，得到了通常为两个数量级的计算时间提升。同时还强调了使用更长轨迹来表示 NNEs 的优势，既可获得更高的推断准确性，也降低了小批量更新所需的样本数量更新成本。

    Jun, 2023

  • 子网络集成

    本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

    Nov, 2023

  • Ensemble-Compression: 深度神经网络并行训练的新方法

    介绍了一种新的并行训练框架，Ensemble-Compression（简称 EC-DNN），该框架使用集成学习的方法来聚合本地模型，解决了参数平均方法在非凸模型上的问题，通过蒸馏方法进行压缩，实验结果表明 EC-DNN 具有许多优势。

    Jun, 2016

  • 训练独立子网络以实现鲁棒预测

    本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。

    Oct, 2020

  • 动态稀疏的全方位福音：零训练或测试开销的深度集成

    本文提出了一种称为 FreeTickets 的新型高效集成学习框架，利用稀疏神经网络训练，取代了传统的多个密集神经网络的训练方式，并在预测精度、不确定性估计、分布外强度、训练和推理效率等方面优于传统方法。

    Jun, 2021

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020