众志成城：使用集成模型的逐轮一致性来抵御过拟合

Oct, 2023

众志成城：使用集成模型的逐轮一致性来抵御过拟合

United We Stand: Using Epoch-wise Agreement of Ensembles to Combat Overfit

Uri Stern, Daniel Shwartz, Daphna Weinshall

TL;DR通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

Abstract

deep neural networks have become the method of choice for solving many image classification tasks, largely because they can fit very complex functions defined over raw images. The downside of such powerful learners is the danger of →

deep neural networks overfitting ensemble classifier generalization early stopping

发现论文，激发创造

深度卷积神经网络的集成方法在图像分类中的相对性能

该研究通过探究多种集成方法，包括超级学习器等，运用人工神经网络在图像识别任务中进行设计多个实验，并进一步研究了神经网络的过度自信现象及其对集成方法的影响，并在所有实验中发现超级学习器是表现最佳的集成方法。

Apr, 2017

重拾被遗忘的知识：关于遗忘、过拟合和无需训练的深度神经网络集成

在深度神经网络中，我们引入一种新的评分方法来衡量过拟合，该方法通过监测验证数据上的模型遗忘率，从而揭示了即使总体上泛化能力得到改善，仍存在数据空间中某些区域泛化能力退化的情况。基于这些观察，我们构建了一种新的集成方法，该方法仅基于单个网络的训练历史，在不增加额外训练时间的情况下显著提高了性能。在现代深度模型上进行的广泛实证评估显示了该方法在多个数据集、神经网络架构和训练方案中的实用性，无论是从头开始训练还是在迁移学习中使用预训练网络。值得注意的是，我们的方法在实现和使用上更加简单，并在 Imagenet 上改进了具有竞争力的网络 1% 的性能。

Oct, 2023

带有集合共识的鲁棒训练

研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题，该方法通过对众多神经网络的一定扰动下的结果进行共识，剔除出噪声样本，其中一个提出的 LEC，即 LTEC 在 MNIST，CIFAR-10，和 CIFAR-100 数据集上表现出更高的分类准确率，且效率较高。

Oct, 2019

深度集成的效果如何，但它们是否必要？

通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

Feb, 2022

为何多个网络头胜过单独一个：训练深度神经网络的多样集成

本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

Nov, 2015

深度神经网络对抗扰动的防御方法：集成学习

采用集成方法作为防御策略可增强神经网络在 MNIST 和 CIFAR-10 数据集中对于对抗扰动的鲁棒性。

Sep, 2017

使用 Loss 集合扩展神经网络的文本分类模型

本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

Nov, 2017

您可以拥有您的集成并运行它 -- 深度集成随时间传播

这篇论文介绍了一种名为 Deep Ensembles Spread Over Time (DESOT) 的方法，该方法将深度集成模型应用于序列数据，通过对数据点的序列进行预测融合来实现预测和不确定性估计的性能优势，在无需额外计算成本的情况下获得了深度集成模型的好处，并在自动驾驶和交通标志分类等领域的实验中取得了良好的表现。

Sep, 2023

基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型

本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。

Mar, 2023

从单个训练过程中的检查点集成：集成方法

本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

Oct, 2017