子网络集成

Nov, 2023

Subnetwork Ensembles

Tim Whitaker

TL;DR本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

Abstract

neural network ensembles have been effectively used to improve generalization by combining the predictions of multiple independently trained models. However, the growing scale and complexity of deep neural networks have led to these methods becoming prohibitively expensive and time con

neural network ensembles low-cost framework subnetwork ensembles training efficiency generalization performance

发现论文，激发创造

用于鲁棒自监督表示学习的多样化独立子网络集合

通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性，并通过新的损失函数鼓励模型之间的多样性，在保持计算效率的同时，有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中，我们的方法在预测可靠性方面取得了显著改善。

Aug, 2023

剪枝和微调集成：使用稀疏独立子网络进行低成本的集成学习

本文提出一种名为 “Prune and Tune” 的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于 CIFAR-10 和 CIFAR-100 数据集。

Feb, 2022

MotherNets: 快速深度集成学习

该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

Sep, 2018

低数据迁移学习的深度集成

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

图像分类快速不确定性估计的深度子整体方法

该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性，在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

Oct, 2019

训练独立子网络以实现鲁棒预测

本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。

Oct, 2020

快照集成: 1 次训练，多个模型

本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

Apr, 2017

深度集成：一种损失景观的视角

通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

Dec, 2019

深度集成的效果如何，但它们是否必要？

通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

Feb, 2022

集成深度学习：综述

本文综述了最新的深度集成学习模型的分类和应用，并指出了未来研究的方向。

Apr, 2021