AAAIOct, 2017

从单个训练过程中的检查点集成：集成方法

PDF
TL;DR本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。
发现论文，激发创造
  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017

  • BatchEnsemble: 一种高效集成和终身学习的替代方法

    本文提出了一种名为 BatchEnsemble 的集成方法，其计算和内存成本比典型集成方法低得多，可以在多个设备上并行计算，具有较高的准确性和良好的不确定性，适用于终身学习任务。

    Feb, 2020

  • 众志成城：使用集成模型的逐轮一致性来抵御过拟合

    通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

    Oct, 2023

  • 自我集成保护：训练检查点是良好数据保护器

    在本文中，我们提出了一种名为自组合保护 (SEP) 的新思路来防止竞争对手用数据训练表现良好的模型，该方法在多个数据集和模型架构上得到了验证和实验，结果表明自组合保护是一种新的最佳实践。

    Nov, 2022

  • 使用时间集成提高在线连续学习的性能和稳定性

    本文研究了模型集成作为一种提高在线持续学习性能和稳定性的方法，并且通过使用轻量级时间集成方法以及结合文献中的几种方法，我们表明该方法可以显着提高性能和稳定性。

    Jun, 2023

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020

  • 当集成较小的模型比单个大模型更高效时

    本文研究使用 ensemble 方法来提高模型性能的有效性，实验结果表明，与单个模型相比，用 ensemble 组合模型在准确率和计算效率上有更好的表现，并提出 ensemble 模型作为模型推理速度和准确性之间的灵活权衡。

    May, 2020

  • 深度卷积神经网络的集成方法在图像分类中的相对性能

    该研究通过探究多种集成方法，包括超级学习器等，运用人工神经网络在图像识别任务中进行设计多个实验，并进一步研究了神经网络的过度自信现象及其对集成方法的影响，并在所有实验中发现超级学习器是表现最佳的集成方法。

    Apr, 2017

  • 为何多个网络头胜过单独一个：训练深度神经网络的多样集成

    本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

    Nov, 2015

  • 通过轨迹抽样进行神经网络集成的小批量训练

    本篇论文探讨了使用小批量（minibatches）方法训练神经网络集合（NNEs）的高效方式，并在 MNIST 数据集上验证其可行性，得到了通常为两个数量级的计算时间提升。同时还强调了使用更长轨迹来表示 NNEs 的优势，既可获得更高的推断准确性，也降低了小批量更新所需的样本数量更新成本。

    Jun, 2023