剪枝和微调集成：使用稀疏独立子网络进行低成本的集成学习

AAAIFeb, 2022

剪枝和微调集成：使用稀疏独立子网络进行低成本的集成学习

Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks

Tim Whitaker, Darrell Whitley

TL;DR本文提出一种名为 “Prune and Tune” 的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于 CIFAR-10 和 CIFAR-100 数据集。

Abstract

ensemble learning is an effective method for improving generalization in machine learning. However, as state-of-the-art neural networks grow larger, the computational cost associated with →

ensemble learning neural networks training diversity prune and tune

发现论文，激发创造

子网络集成

本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

Nov, 2023

用于鲁棒自监督表示学习的多样化独立子网络集合

通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性，并通过新的损失函数鼓励模型之间的多样性，在保持计算效率的同时，有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中，我们的方法在预测可靠性方面取得了显著改善。

Aug, 2023

低数据迁移学习的深度集成

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

深度集成的分层剪枝与焦点多样性

该论文提出了一种新的深度集成修剪方法，可以高效地识别较小的深度集成，并提供比大量成员网络的整个深度集成更高的集成准确性。该论文的方法基于三种创新的修剪技术：焦点多样性度量、分层修剪方法和焦点多样性一致性方法，通过这些技术能够在集成决策中更加高效地识别高质量的深度集成。

Nov, 2023

MotherNets: 快速深度集成学习

该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

Sep, 2018

动态稀疏的全方位福音：零训练或测试开销的深度集成

本文提出了一种称为 FreeTickets 的新型高效集成学习框架，利用稀疏神经网络训练，取代了传统的多个密集神经网络的训练方式，并在预测精度、不确定性估计、分布外强度、训练和推理效率等方面优于传统方法。

Jun, 2021

快照集成: 1 次训练，多个模型

本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

Apr, 2017

彩票池：通过插值票券获得更多的奖励，而不增加训练或推断的成本

本研究提出一种名为 Lottery Pools 的方法，通过直接平均相邻权重和简单插值策略等优化，以更低的训练和推理成本获得更强的稀疏子网络，进而在各种现代架构上均有效提升了性能。

Aug, 2022

为何多个网络头胜过单独一个：训练深度神经网络的多样集成

本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

Nov, 2015

伪集成学习

本研究发展了一种基于伪集成的正则化方法，该方法可以使伪集成的表现对于生成伪集成的噪声过程具有鲁棒性，不同于以前的方法，本方法自然延伸到半监督设置中，并在真实世界情感分析基准测试中表现卓越。

Dec, 2014