Jun, 2023

通过轨迹抽样进行神经网络集成的小批量训练

PDF
TL;DR本篇论文探讨了使用小批量（minibatches）方法训练神经网络集合（NNEs）的高效方式，并在 MNIST 数据集上验证其可行性，得到了通常为两个数量级的计算时间提升。同时还强调了使用更长轨迹来表示 NNEs 的优势，既可获得更高的推断准确性，也降低了小批量更新所需的样本数量更新成本。
iterative neural network trainingminibatchesneural network ensemblestrajectory methodsmnist datasets
发现论文，激发创造
  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017

  • BatchEnsemble: 一种高效集成和终身学习的替代方法

    本文提出了一种名为 BatchEnsemble 的集成方法，其计算和内存成本比典型集成方法低得多，可以在多个设备上并行计算，具有较高的准确性和良好的不确定性，适用于终身学习任务。

    Feb, 2020

  • 图神经网络中的合作小批处理

    通过合作微批处理以及依赖性连续微批处理方法，我们在单节点多 GPU 系统上实现了高达 64% 的加速，同时减少了获取顶点嵌入的带宽消耗。

    Oct, 2023

  • 从单个训练过程中的检查点集成：集成方法

    本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

    Oct, 2017

  • 时间序列分类的深度神经网络集成

    本文介绍如何在时序分类任务中使用神经网络集成算法，实现与当前最先进的基于非深度学习算法的分类器媲美的性能，并且首次达到了比 COTE 分类器更好的表现。

    Mar, 2019

  • 子网络集成

    本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

    Nov, 2023

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020

  • 我们可以通过难样本学得更好吗？

    本研究提出一种新型的深度学习算法，该算法利用高误差 mini-batch 学习聚焦于欠表示的样本和复杂模式，并在多个公认数据集上测试，表明其相对于传统 mini-batch 训练方法能够显著提高测试准确性和加速收敛。

    Apr, 2023

  • 为何多个网络头胜过单独一个：训练深度神经网络的多样集成

    本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

    Nov, 2015